2022-03-01から1ヶ月間の記事一覧

トランスフォーマーと素敵なカーネル法【第1話】

お気付きの点がありましたらご指摘いただけますと幸いです。 Yifan Chen, Qi Zeng, Heng Ji, Yun Yang. Skyformer: Remodel Self-Attention with Gaussian Kernel and Nyström Method. In NeurIPS 2021. [Proceedings] カーネル法の計算量削減手法(Nyström …

雑記: Nyström 近似は右下ブロック以外正確である話

2022-04-03 加筆しました。 参考文献 Using the Nyström Method to Speed Up Kernel Machines, https://proceedings.neurips.cc/paper/2000/hash/19de10adbaa1b2ee13f77f679fa1483a-Abstract.html(2022年3月19日参照) NIPS 2000(当時は NIPS)の論文であ…

雑記: Nyström が読めない話

カーネル法におけるグラム行列の低ランク近似手法の一つとして知られる Nyström 法は、近年 Transformer の計算量削減への応用もみられる [11] [12]。ところで本質的ではないことだが、Nyström 法の仮名表記はこれといったものが確立されていないように思わ…

正規分布からの iid 標本の標本平均と不偏分散が独立であることの証明の話【その4】

2022-03-20 加筆しました。 参考文献 井手 剛. 入門 機械学習による異常検知―Rによる実践ガイド―. コロナ社, 2015. 入門 機械学習による異常検知―Rによる実践ガイド: ノート2 - クッキーの日記 正規分布からの iid 標本の標本平均と不偏分散が独立であるこ…

正規分布からの iid 標本の標本平均と不偏分散が独立であることの証明の話【その3】

参考文献 statistics - Proof of the independence of the sample mean and sample variance - Mathematics Stack Exchange. https://math.stackexchange.com/questions/47350/proof-of-the-independence-of-the-sample-mean-and-sample-variance. 参照日 20…

正規分布からの iid 標本の標本平均と不偏分散が独立であることの証明の話【その2】

参考文献 statistics - Proof of the independence of the sample mean and sample variance - Mathematics Stack Exchange. https://math.stackexchange.com/questions/47350/proof-of-the-independence-of-the-sample-mean-and-sample-variance. 参照日 20…

正規分布からの iid 標本の標本平均と不偏分散が独立であることの証明の話

参考文献 日本統計学会 編. 日本統計学会公式認定統計検定 統計検定1級対応 統計学. 東京図書株式会社, 2013. 47 ページに 1 次元正規分布からの iid 標本の標本平均と不偏分散の独立の証明があります。 雑記: t分布の話 - クッキーの日記 この証明をつかう…