お気付きの点がありましたらご指摘いただけますと幸いです。 Reservoir Transformers - ACL Anthology https://staff.fmi.uvt.ro/~daniela.zaharie/am2016/proiecte/tehnici/ReservoirComputing/ReservoirComputingApproaches.pdf 6.6. Random Projection — …

torch.nn.Transformer を使用したことがありません……ドキュメントによると「BERT が構築できます」とのことなので transformers.BertModel と同様のモデルであると思うのですが、百聞は一見にしかず、torch.nn.Transformer のソースコードをみてみましょう。…