お気付きの点がありましたらご指摘いただけますと幸いです。https://pytorch.org/get-started/locally/ WSL2 + Ubuntu20.04 + CUDA 11.6 + cuDNN v8.2.0 環境に PyTorch を入れたいです。native Windows 側には既に PyTorch が入っているのですが、PyTorch …

torch.nn.Transformer を使用したことがありません……ドキュメントによると「BERT が構築できます」とのことなので transformers.BertModel と同様のモデルであると思うのですが、百聞は一見にしかず、torch.nn.Transformer のソースコードをみてみましょう。…

昨日の記事のニューラルネットの絵は以下です。最後のレイヤーは目標値との2乗損失をとっています。上の絵をみながら、ネットワーク中の状態やパラメータに対して損失の勾配を求めると以下です。状態やパラメータがベクトルや行列の場合は一つの成分について…

2022-01-03 追記 以下に埋め込まれている Gist をリファクタリングしてテスト化したのが以下です。 ML/test_backward.py at b03bcd0a057e173b8d5bf2210fad0098dfa3e002 · CookieBox26/ML · GitHub Untitled.ipynb