最近雑記ばかりで雑すぎるので週次の日記にしようと思います。12/4（月）～12/10（日）の日記にしようと思いますがついでなのでその前の週のことも一緒に書きます。
読んだ記事
GitHub - NVIDIA/sentiment-discovery: Unsupervised Language Modeling at scale for robust sentiment classification
- テキストを単語列ではなく文字列として学習してセンチメント分類しても上手くいくという話（辞書を作成しないから Unsupervised？）。
- 単語列ではなく文字列として扱うことで、capitalized/uncaptilized の取り扱いを明示的に与えなくていいし、ミススペルにも対応できるし、未知語にも対応できる。
- でも英語は26文字しかないけど日本語は平仮名、片仮名、漢字がたくさんあるけど上手くいくのだろうか。
[1712.02029] AdaBatch: Adaptive Batch Sizes for Training Deep Neural Networks
- SGDによる深層ニューラルネットの最適化は学習率とバッチサイズを慎重に選ぶ必要がある。バッチサイズが小さい方が少ないエポック数で収束するけどバッチサイズが大きい方がたくさん並列計算できるので計算効率がいい。なのでエポックを経るごとにバッチサイズを大きくしていくことで、小さい固定バッチサイズ並のエポック数で大きい固定バッチサイズ並の計算効率を達成しましたという話（？）。
参加したイベント
第9回 強化学習アーキテクチャ勉強会 - connpass（11/28）
- この勉強会の中で、紹介された高次行動を抽象化する解法だとベルマン最適方程式の解より高い報酬が得られるのかという質問があって、得られるのではないかというやり取りがあったのですが、それを聞いていて、報酬が高くなるのではなくてよりよい解にたどり着く確率とか収束の速さがよくなるのではないかなと思ったんですが、オンライン学習なら確かによくなるのかなと思いました（オンライン学習の解ってどこなんですけど）。よくわかりません。
- オプションのサブゴールは所与ということだったのですが、サブゴールもタスクから決める論文もあるとかおっしゃっていたのですが、もっとちゃんと訊けばよかったです。
Gunosyデータマイニング研究会 #132 - connpass（11/29）
- 分散未知の場合の共役事前分布がなんでウィシャート分布じゃなくて逆ガンマ分布なのかと思ったのですが、共分散行列を
に決め打っているからで、でも共分散行列が
Speee もくもく会 #31 - connpass（12/2）
- 朝食も昼食もご馳走になってしまいました…なんかすみません…。
朝もくもく会@神田橋 - connpass（12/7）
- もくもく会を主催してみたのですが誰も来ませんでした。逆に来たらびっくりするんでそれはいいんですけど、1時間というのはどうにも短いと思いました。30分単位で借りられれば30分延ばしたいんですが。もっとアクセスがよさそうな神田駅前にも貸し会議室を見つけましたが、神田駅に寄るのが面倒なので次もここでやります。
mockmock.dev #141 - connpass（12/10）
- Slack 上のもくもく会に参加させていただきました。実は冒頭50分昼食作って食べてました。すみません…。
その他
- C++のクラスにデフォルトコンストラクタを定義せずにそのクラスの vector を定義したらコンパイルできなかったんですけど、面倒なのでデフォルトコンストラクタ書いたんですけど、あんまり書きたくなかったときはどうすればよかったのか後で確認します。
【C++】デフォルトコンストラクタを持たない型の配列を初期化する - Bite Code
