雑記

お気付きの点がありましたらご指摘いただけますと幸いです。

1. Efficiently Modeling Long Sequences with Structured State Spaces | OpenReview（In ICLR 2022）
2. Combining Recurrent, Convolutional, and Continuous-time Models with Linear State Space Layers（In NeurIPS 2021）
3. HiPPO: Recurrent Memory with Optimal Polynomial Projections（In NeurIPS 2020）

💜

• ICLR 2022 の Accepted Papers をみていたら [1] をみつけましたがこれは NeurIPS 2021 の [2]、NeurIPS 2020 の [3] と著者が同じですね。
• 元々 [3] では「RNN の記憶性能の限界を打破するべく LSTM、GRU 及びそれらに続くネットワーク構造が提案されてきたが、記憶機構への統一的な理解が得られていない」「また、それらのモデルはタイムスケールを既知としている」として HiPPo を提案されたのでした。Hippo では記憶の蓄積・更新問題をオンライン関数近似問題として定式化した、のでしょうか。関数……私たちの生物学的な記憶は、もちろん私たちの脳にテキストや画像が保存されているわけではなく、私たちが外界からの刺激にどう応答するかとして検出されると思いますが、そう考えると記憶とは関数のような気がします。と言い出すのであれば RNN 自体関数ですが。ともかくこのオンライン関数近似では、「記憶関数」に過去ステップのそれぞれがどれだけ重要であるかを特定させることを目指し、多項式基底の係数を更新していくのでしょうか。ではここでの記憶は、「このような文章の流れできたら 2 単語前が重要と判断する」といったものになるのでしょうか。回りくどい？ 回りくどくない？