2022-01-01から1年間の記事一覧
参考文献 GitHub - google/jax: Composable transformations of Python+NumPy programs: differentiate, vectorize, JIT to GPU/TPU, and more GitHub - google/trax: Trax — Deep Learning with Clear Code and Speed CUDA 11.6 + cuDNN v8.2.0 on Ubuntu20…
参考文献 CUDA on WSL :: CUDA Toolkit Documentation WslRegisterDistribution failed with error: 0x800701bc - Qiita GPU in Windows Subsystem for Linux (WSL) | NVIDIA Developer CUDA Toolkit 11.6 Update 2 Downloads | NVIDIA Developer cuDNN Arch…
この日記は WSL + CUDA 環境を構築しようとしているが以下の 2 点を怠っているために失敗している。Windows 11 もしくは Windows 10 version 21H2 をインストールする。 NVIDIA CUDA on WSL driver をインストールする。自分では前者が満たされていなかった…
お気付きの点がありましたらご指摘いただけますと幸いです。 [2001.04451] Reformer: The Efficient Transformer https://github.com/google/trax/tree/master/trax/models/reformer 以前の記事に Reformer について以下の記述が残されていたのですが、読み…
2022-04-05 解釈がおかしいのでそのうち修正します。改行がおかしいのは修正できません。 参考文献 井手 剛. 入門 機械学習による異常検知―Rによる実践ガイド―. コロナ社, 2015. 入門 機械学習による異常検知―Rによる実践ガイド： ノート2 - クッキーの日記 …
参考文献 福水 健次. カーネル法入門. 朝倉書店, 2010. [1] の 59 ページのアルゴリズムをかこうとして R が下三角になっていってほしいが途中である。 import numpy as np def imcomplete_cholesky(A): R = np.diag(np.diag(A)) A_dash = A.copy() P = np.i…
2022-04-02 加筆しました。 2022-04-03 加筆しました。 参考文献 linear algebra - How to prove the existence and uniqueness of Cholesky decomposition? - Mathematics Stack Exchange. https://math.stackexchange.com/questions/2509810/how-to-prove-…
お気付きの点がありましたらご指摘いただけますと幸いです。 Yifan Chen, Qi Zeng, Heng Ji, Yun Yang. Skyformer: Remodel Self-Attention with Gaussian Kernel and Nyström Method. In NeurIPS 2021. [Proceedings] カーネル法の計算量削減手法（Nyström …
2022-04-03 加筆しました。 参考文献 Using the Nyström Method to Speed Up Kernel Machines, https://proceedings.neurips.cc/paper/2000/hash/19de10adbaa1b2ee13f77f679fa1483a-Abstract.html（2022年3月19日参照） NIPS 2000（当時は NIPS）の論文であ…
カーネル法におけるグラム行列の低ランク近似手法の一つとして知られる Nyström 法は、近年 Transformer の計算量削減への応用もみられる [11] [12]。ところで本質的ではないことだが、Nyström 法の仮名表記はこれといったものが確立されていないように思わ…
2022-03-20 加筆しました。 参考文献 井手 剛. 入門 機械学習による異常検知―Rによる実践ガイド―. コロナ社, 2015. 入門 機械学習による異常検知―Rによる実践ガイド： ノート2 - クッキーの日記 正規分布からの iid 標本の標本平均と不偏分散が独立であるこ…
参考文献 statistics - Proof of the independence of the sample mean and sample variance - Mathematics Stack Exchange. https://math.stackexchange.com/questions/47350/proof-of-the-independence-of-the-sample-mean-and-sample-variance. 参照日 20…
参考文献 statistics - Proof of the independence of the sample mean and sample variance - Mathematics Stack Exchange. https://math.stackexchange.com/questions/47350/proof-of-the-independence-of-the-sample-mean-and-sample-variance. 参照日 20…
参考文献 日本統計学会 編. 日本統計学会公式認定統計検定 統計検定1級対応 統計学. 東京図書株式会社, 2013. 47 ページに 1 次元正規分布からの iid 標本の標本平均と不偏分散の独立の証明があります。 雑記： t分布の話 - クッキーの日記 この証明をつかう…
git-filter-repo - Qiita git-filter-repo/git-filter-repo.txt at 0cd8a1fd392b329df05f05babd942f7fc4318a72 · newren/git-filter-repo · GitHub Git で歴史改変したいとします。もっと限定して、これまでのすべてのコミットから特定のファイルの存在を抹…
ベントウアプリケーションを更新しました。 github.com 外部からお米を調達します。お米を返すダミーAPI は README にあるように自分でローカルに立てます。 本番ではツナおにぎりが返り、単体テストでは梅おにぎりが返ります。相変わらずおにぎりしかないで…
以下の2つの原稿を準備していますが内容がないです。 https://cookiebox26.github.io/notes/20211226_spring_boot/main.pdf https://cookiebox26.github.io/notes/20211223_sequence_models/main.pdf
ベントウアプリケーションをバージョン管理しました。 github.com関連記事は以下です。 雑記： テスト時に Bean を別の Bean に置き換えたい話 - クッキーの日記 雑記： Circuit Breaker をオープンさせるだけ (resilience4j-spring-boot2) - クッキーの日記…
お気付きの点がありましたらご指摘いただけますと幸いです。 Sparse is Enough in Scaling Transformers GitHub - google/trax at v1.4.0 Trax Tutorials — Trax documentation 論文［1］の研究のソースコードは［2］の trax なるライブラリの一部として公…
TeX Live 2021 の xelatex コマンドを使用しているとします。 CTAN: Package listings listings パッケージでシンタクスハイライトができます。以下の hoge.tex を用意して xelatex hoge.tex を実行すれば hoge.pdf がコンパイルできます（日本語等幅フォン…
最終更新日： 2022-01-30 お気付きの点がありましたらご指摘いただけますと幸いです。 Stable, Fast and Accurate: Kernelized Attention with Relative Positional Encoding ［1］のアブストラクトは、「セルフアテンションの計算量を削減する既存研究の多…
NeurIPS の論文をぶわーっと参照したいときがあると思います。 github.com 手打ちしていると途方もないのでプロシーディングズサイトの個別論文ページからつくります。 from bs4 import BeautifulSoup import re """ response : str プロシーディングズサイ…
お気付きの点がありましたらご指摘いただけますと幸いです。 ※ 本記事中の参考文献の番号は以下の記事におけるナンバリングです。 NeurIPS 2021 pre-proceedings の(時)系列っぽいタイトル 【前編】 NeurIPS 2021 pre-proceedings の(時)系列っぽいタイトル …
セルフアテンションの計算に Nyström 近似を利用したスカイフォーマーのコードが以下に公開されています。現時点で最新のリビジョンをみます。GitHub - pkuzengqi/Skyformer at cfe8c8cb48a151fd150ff4a87fdb24b288356869モデルのソースは以下です。Long Ran…
お気付きの点がありましたらご指摘いただけますと幸いです。 Reservoir Transformers - ACL Anthology https://staff.fmi.uvt.ro/~daniela.zaharie/am2016/proiecte/tehnici/ReservoirComputing/ReservoirComputingApproaches.pdf 6.6. Random Projection — …
torch.nn.Transformer を使用したことがありません……ドキュメントによると「BERT が構築できます」とのことなので transformers.BertModel と同様のモデルであると思うのですが、百聞は一見にしかず、torch.nn.Transformer のソースコードをみてみましょう。…
昨日の記事のニューラルネットの絵は以下です。最後のレイヤーは目標値との2乗損失をとっています。上の絵をみながら、ネットワーク中の状態やパラメータに対して損失の勾配を求めると以下です。状態やパラメータがベクトルや行列の場合は一つの成分について…
2022-01-03 追記 以下に埋め込まれている Gist をリファクタリングしてテスト化したのが以下です。 ML/test_backward.py at b03bcd0a057e173b8d5bf2210fad0098dfa3e002 · CookieBox26/ML · GitHub Untitled.ipynb
お気付きの点がありましたらご指摘いただけますと幸いです。 Reservoir Transformers - ACL Anthology https://staff.fmi.uvt.ro/~daniela.zaharie/am2016/proiecte/tehnici/ReservoirComputing/ReservoirComputingApproaches.pdf 6.6. Random Projection — …
