今週書いた Qiita 記事 (2026年第29週)

今週は Qiita に以下の記事を書きました。
これまでに書いた記事一覧はこちらです。

【文献メモ】RAdam: 2 次モーメントによる正規化の分散が一定な Adam (ICLR 2020)

深層学習 勾配降下法 PyTorch
qiita.com

【文献メモ】σReparam: アテンションの崩壊を防ぐ再パラメータ化 (行列ノルム分離) (ICML 2023)

深層学習 PyTorch Transformer
qiita.com