transformer

トランスフォーマーと素敵なカーネル法【第1話】

お気付きの点がありましたらご指摘いただけますと幸いです。 Yifan Chen, Qi Zeng, Heng Ji, Yun Yang. Skyformer: Remodel Self-Attention with Gaussian Kernel and Nyström Method. In NeurIPS 2021. [Proceedings] カーネル法の計算量削減手法(Nyström …

雑記

お気付きの点がありましたらご指摘いただけますと幸いです。 Sparse is Enough in Scaling Transformers GitHub - google/trax at v1.4.0 Trax Tutorials — Trax documentation 論文[1]の研究のソースコードは[2]の trax なるライブラリの一部として公…

雑記

最終更新日: 2022-01-30 お気付きの点がありましたらご指摘いただけますと幸いです。 Stable, Fast and Accurate: Kernelized Attention with Relative Positional Encoding [1]のアブストラクトは、「セルフアテンションの計算量を削減する既存研究の多…

スカイフォーマーを動かすだけ

セルフアテンションの計算に Nyström 近似を利用したスカイフォーマーのコードが以下に公開されています。現時点で最新のリビジョンをみます。GitHub - pkuzengqi/Skyformer at cfe8c8cb48a151fd150ff4a87fdb24b288356869モデルのソースは以下です。Long Ran…

溜池トランスフォーマー【第2話】

お気付きの点がありましたらご指摘いただけますと幸いです。 Reservoir Transformers - ACL Anthology https://staff.fmi.uvt.ro/~daniela.zaharie/am2016/proiecte/tehnici/ReservoirComputing/ReservoirComputingApproaches.pdf 6.6. Random Projection — …

溜池トランスフォーマー【第1話】

お気付きの点がありましたらご指摘いただけますと幸いです。 Reservoir Transformers - ACL Anthology https://staff.fmi.uvt.ro/~daniela.zaharie/am2016/proiecte/tehnici/ReservoirComputing/ReservoirComputingApproaches.pdf 6.6. Random Projection — …