2017-12-04 週の日記

雑記

最近雑記ばかりで雑すぎるので週次の日記にしようと思います。12/4（月）～12/10（日）の日記にしようと思いますがついでなのでその前の週のことも一緒に書きます。

読んだ記事

GitHub - NVIDIA/sentiment-discovery: Unsupervised Language Modeling at scale for robust sentiment classification · GitHub
  • テキストを単語列ではなく文字列として学習してセンチメント分類しても上手くいくという話（辞書を作成しないから Unsupervised？）。
  • 単語列ではなく文字列として扱うことで、capitalized/uncaptilized の取り扱いを明示的に与えなくていいし、ミススペルにも対応できるし、未知語にも対応できる。
  • でも英語は26文字しかないけど日本語は平仮名、片仮名、漢字がたくさんあるけど上手くいくのだろうか。
Interpretable Machine Learning
  • 機械学習モデルを解釈可能にするという話。GitHub Pages で作成してあるようなので自分もいつかこういうのを書きたいなあ。
  • model-agnostics: モデルに依存しない（という意味でいいのですよね？）
[1712.02029] AdaBatch: Adaptive Batch Sizes for Training Deep Neural Networks
  • SGDによる深層ニューラルネットの最適化は学習率とバッチサイズを慎重に選ぶ必要がある。バッチサイズが小さい方が少ないエポック数で収束するけどバッチサイズが大きい方がたくさん並列計算できるので計算効率がいい。なのでエポックを経るごとにバッチサイズを大きくしていくことで、小さい固定バッチサイズ並のエポック数で大きい固定バッチサイズ並の計算効率を達成しましたという話（？）。

参加したイベント

https://rlarch.connpass.com/event/73007/（11/28）
  • この勉強会の中で、紹介された高次行動を抽象化する解法だとベルマン最適方程式の解より高い報酬が得られるのかという質問があって、得られるのではないかというやり取りがあったのですが、それを聞いていて、報酬が高くなるのではなくてよりよい解にたどり着く確率とか収束の速さがよくなるのではないかなと思ったんですが、オンライン学習なら確かによくなるのかなと思いました（オンライン学習の解ってどこなんですけど）。よくわかりません。
  • オプションのサブゴールは所与ということだったのですが、サブゴールもタスクから決める論文もあるとかおっしゃっていたのですが、もっとちゃんと訊けばよかったです。
https://gunosy-dm.connpass.com/event/72497/（11/29）
  • 分散未知の場合の共役事前分布がなんでウィシャート分布じゃなくて逆ガンマ分布なのかと思ったのですが、共分散行列を \sigma^2 I に決め打っているからで、でも共分散行列が \sigma^2 I って何だろう、予測対象変数が各要素が独立の確率値とかだったらそんな状況もあるのだろうかと思いました。
https://speee.connpass.com/event/73388/（12/2）
  • 朝食も昼食もご馳走になってしまいました…なんかすみません…。
https://connpass.com/event/73956/（12/7）
  • もくもく会を主催してみたのですが誰も来ませんでした。逆に来たらびっくりするんでそれはいいんですけど、1時間というのはどうにも短いと思いました。30分単位で借りられれば30分延ばしたいんですが。もっとアクセスがよさそうな神田駅前にも貸し会議室を見つけましたが、神田駅に寄るのが面倒なので次もここでやります。
https://mockmock.connpass.com/event/73797/（12/10）
  • Slack 上のもくもく会に参加させていただきました。実は冒頭50分昼食作って食べてました。すみません…。

その他

来週やりたいこと

  • GitHub Pages をせっかくつくったので、週の日記にはその週に読んだことを、GitHub Pages にはその蓄積を配置したいですが、フォルダ以下に記事群を置いたら Python か Perl で各記事にリンクを張った HTML を生成するようにしたい（そんなことをやっているので文献読みが進みません）。