2022-01-01から1ヶ月間の記事一覧

Git での歴史改変と歴史改変後やってはいけないこと

git-filter-repo - Qiita git-filter-repo/git-filter-repo.txt at 0cd8a1fd392b329df05f05babd942f7fc4318a72 · newren/git-filter-repo · GitHub Git で歴史改変したいとします。もっと限定して、これまでのすべてのコミットから特定のファイルの存在を抹…

雑記

ベントウアプリケーションを更新しました。 github.com 外部からお米を調達します。お米を返すダミーAPI は README にあるように自分でローカルに立てます。 本番ではツナおにぎりが返り、単体テストでは梅おにぎりが返ります。相変わらずおにぎりしかないで…

雑記

以下の2つの原稿を準備していますが内容がないです。 https://cookiebox26.github.io/notes/20211226_spring_boot/main.pdf https://cookiebox26.github.io/notes/20211223_sequence_models/main.pdf

雑記

ベントウアプリケーションをバージョン管理しました。 github.com関連記事は以下です。 雑記: テスト時に Bean を別の Bean に置き換えたい話 - クッキーの日記 雑記: Circuit Breaker をオープンさせるだけ (resilience4j-spring-boot2) - クッキーの日記…

雑記

お気付きの点がありましたらご指摘いただけますと幸いです。 Sparse is Enough in Scaling Transformers GitHub - google/trax at v1.4.0 Trax Tutorials — Trax documentation 論文[1]の研究のソースコードは[2]の trax なるライブラリの一部として公…

TeX でもシンタクスハイライトしたい話(listings)

TeX

TeX Live 2021 の xelatex コマンドを使用しているとします。 CTAN: Package listings listings パッケージでシンタクスハイライトができます。以下の hoge.tex を用意して xelatex hoge.tex を実行すれば hoge.pdf がコンパイルできます(日本語等幅フォン…

雑記

最終更新日: 2022-01-30 お気付きの点がありましたらご指摘いただけますと幸いです。 Stable, Fast and Accurate: Kernelized Attention with Relative Positional Encoding [1]のアブストラクトは、「セルフアテンションの計算量を削減する既存研究の多…

雑記

NeurIPS の論文をぶわーっと参照したいときがあると思います。 github.com 手打ちしていると途方もないのでプロシーディングズサイトの個別論文ページからつくります。 from bs4 import BeautifulSoup import re """ response : str プロシーディングズサイ…

雑記

お気付きの点がありましたらご指摘いただけますと幸いです。 ※ 本記事中の参考文献の番号は以下の記事におけるナンバリングです。 NeurIPS 2021 pre-proceedings の(時)系列っぽいタイトル 【前編】 NeurIPS 2021 pre-proceedings の(時)系列っぽいタイトル …

スカイフォーマーを動かすだけ

セルフアテンションの計算に Nyström 近似を利用したスカイフォーマーのコードが以下に公開されています。現時点で最新のリビジョンをみます。GitHub - pkuzengqi/Skyformer at cfe8c8cb48a151fd150ff4a87fdb24b288356869モデルのソースは以下です。Long Ran…

溜池トランスフォーマー【第2話】

お気付きの点がありましたらご指摘いただけますと幸いです。 Reservoir Transformers - ACL Anthology https://staff.fmi.uvt.ro/~daniela.zaharie/am2016/proiecte/tehnici/ReservoirComputing/ReservoirComputingApproaches.pdf 6.6. Random Projection — …

torch.nn.Transformer の勉強

torch.nn.Transformer を使用したことがありません……ドキュメントによると「BERT が構築できます」とのことなので transformers.BertModel と同様のモデルであると思うのですが、百聞は一見にしかず、torch.nn.Transformer のソースコードをみてみましょう。…

自分で誤差逆伝播するのおまけ

昨日の記事のニューラルネットの絵は以下です。最後のレイヤーは目標値との2乗損失をとっています。上の絵をみながら、ネットワーク中の状態やパラメータに対して損失の勾配を求めると以下です。状態やパラメータがベクトルや行列の場合は一つの成分について…

自分で誤差逆伝播する

2022-01-03 追記 以下に埋め込まれている Gist をリファクタリングしてテスト化したのが以下です。 ML/test_backward.py at b03bcd0a057e173b8d5bf2210fad0098dfa3e002 · CookieBox26/ML · GitHub Untitled.ipynb

溜池トランスフォーマー【第1話】

お気付きの点がありましたらご指摘いただけますと幸いです。 Reservoir Transformers - ACL Anthology https://staff.fmi.uvt.ro/~daniela.zaharie/am2016/proiecte/tehnici/ReservoirComputing/ReservoirComputingApproaches.pdf 6.6. Random Projection — …