お気付きの点がありましたらご指摘いただけますと幸いです。
これは全くナンセンスな話であると踏まえて聞いてほしいんですが、研究を「発見」「工夫」「理解」と区分するのはおかしいでしょうか。
どんな研究が「発見」「工夫」「理解」だと思ったの？
例えば［2］は比較的「発見」らしいのではないですか？ 「低ランク近似しても表現力を損なわなかった」というのが……いえ、無論あらゆる研究とは「発見」であると思いますが、どのくらい狙ってその結論を得たかというか……いえ、［2］も元よりモデルサイズを課題にはおいていますし、いくつかの論拠の上に低ランク近似を試行しているはずですが……。それに対し、［1］の LSSL は「工夫」というか、あまり「発見」とは感じなかったというか……「発見」したというには試みたことが具体的なのではないかというか……しかし、やはり何の意味もありませんね。狙ってやったのかなど、書きぶりの印象に左右されますし……。
そう？ 「試行できる選択肢が色々ある中でそれを選んだ」「色々な試行を全てしたらこうだった」「とにかくある試行をした」とかはある程度印象じゃなく報告されていたりしないのかな？ それに意味があるかはまた別の話だけど。
はあ……［1］の場合、ゴールを「RNN、CNN、連続時間モデルの結合」においていますよね。タイトルにもそれが現れています。これを聞いて思い出すのが TrellisNet ですね。「CNN と RNN との融合」と銘打っていましたから……あ、普通に［1］に引用されていますね。ただこれは……「CNN と RNN との融合」の先輩としてではなく、単に TrellisNet がシーケンシャル画像認識の記録ホルダーであったのでベースラインの1つに採用した、ということでしょうか。……話が逸れましたが、先にゴールがはっきりと打ち出されているとそれに向かって「工夫」をしたように感じるかもしれないですね。「工夫」をしたようにみえるとよりよいとかよくないとかはないんですが。
じゃあ「理解」は？
考えてみると、理論面の成果であって、今日明日ただちに実務に役に立つのでないようなものを「理解」と捉えているかもしれません。［35］の「固定精度の RNN もチューリング完全」とか……原理上そうなんだとわかったところでじゃあ明日から RNN にこういうこともさせようとかならないですよね、ですよね？ いや、では逆にどれなら明日使ってみようとなるかという話ですが……［17］とか？
