マルコフ連鎖モンテカルロ法とその周辺 読書会(7): 参加メモ

この勉強会に参加させていただきました: マルコフ連鎖モンテカルロ法とその周辺 読書会(7) - connpass
読んでいる本: 計算統計 2 マルコフ連鎖モンテカルロ法とその周辺 (統計科学のフロンティア 12) | 伊庭 幸人, 種村 正美 | 本 | Amazon.co.jp

前回:メモ6 / 次回:メモ8(欠席)メモ9(欠席)メモ10
目次:計算統計 2 マルコフ連鎖モンテカルロ法とその周辺(統計科学のフロンティア 12)

今日読んだ範囲: 55~65ページ

  • 55~57ページは階層ベイズモデルに対するマルコフ連鎖モンテカルロ法の話。
    • 何か実際の例をやってみないとどうにも腹落ちしなさそう。
    • カルマン・フィルタとマルコフ連鎖の併用が第IV部に書いてあるらしいので確認しておきたい。
  • 「『任意』に決めてよいこと(中略)計算中にむやみに変えてよいというわけではない。(62ページ)」
    • この種のランダムな手法をつかっている勢であれば「当たり前だ」という感じですね。
  • バグに気を付けるというか、いつも異なる人/手法による計算結果の検証が必要ですね。
  • 自分のつかっている乱数生成法わかりません…言い訳すると直接使ってないから…。

階層ベイズモデルもEMアルゴリズムもやったことある分何か言えそうで何か言おうとして何も言えなくて終わった。
そろそろ消化不良の蓄積がすごいので大反省会した方がよさそう。
読書会が毎週読む機会になるから読まないよりいいけど読むだけで何かを身に付けるのは難しいですね。

議論中に投げられず終了後に投げたメッセージで記事に内容をもたせておく(読み返すと、不安さがある)。

    EMアルゴリズムは、
    対数尤度の Expectation を Maximization するアルゴリズムです。
    以下のスライドがわかりやすいです。
    http://www.slideshare.net/takao-y/20131113-em
    対象のデータ群が複数正規分布が K 個重なったのから
    できていると思ったとき (K という数は自分で決めておく)、
    対象のデータ群を与える一番もっともらしい
    K 個の (π,μ,σ) の組を知りたいですが、
    これらを一度に最適化するのは難しいので、
    交互に最適化する、という手法です。

    「あれ?『変数を交互に動かしてもっともらしい方に動いていこう』
     っていう方法、56ページのギブスサンプラーに似てない?」
    「でもEMアルゴリズムは点収束するのにギブスサンプラー
     状態が収束するわけではないからおかしくない?」
    というのが57ページコラムなんですが、
    ギブスサンプラーでは条件付き分布からの乱数サンプリングを
    しているのに対し、
    EMアルゴリズムでは条件付きじゃないふつうの分布から
    期待値を計算してその最大化を目指してしているから違うよ、
    ということです。
    (というかそんなに似てもないと思いますが…。)