基礎からのベイズ統計学 Skype読書会(7)：参加メモ

この勉強会に参加させていただきました：基礎からのベイズ統計学 Skype読書会(7) - connpass
読んでいる本（出典）：基礎からのベイズ統計学: ハミルトニアンモンテカルロ法による実践的入門 : 豊田秀樹 : 本 : Amazon

今日読んだ範囲： 64～74ページ
4、5回を欠席してしまったので、節の流れをつかめなかった。
3節は大事なことが書いてあると思うので後でちゃんと読み直したい。
以下、本の内容からしばしばそれる雑多なメモ。

今回は 3.5節母数の定義域が無限大を含む事前分布（64ページ）から。
ベイズ推定に入る前に、まず伝統的な推定 → ポアソン分布のの最尤推定量はデータの平均になる（64～65ページ）。これはわかりやすい。導出手順は以下のどなたかのサイトに同じ。
- 最尤法（ポアソン分布） | パラメーターをλを最尤法で求める方法

つづいてベイズ推定の話。
自然共役事前分布：これはこの本で49ページで出てきているらしい。Rによるベイジアン動的線型モデルでも、14～15ページで出てきている。
- いずれの本でも、「共役な事前分布」とは、事前分布も事後分布も同じ分布のカーネルをもつような場合共役という、というような説明と思う。
- ただ、さらに「『自然』共役」というと、これは指数型分布族に関する概念であって、もっと厳密みたいなことが後者のDLM本の14ページには書いてあるけど、詳しくは書いていない。
- 過去の自分のノートだと以下のあたりだけど、読み直しても何もわからないしリファクタリングしたい。
  - Rによるベイジアン動的線型モデル：ノート3 - クッキーの日記
- DLM本で扱った、回帰モデル $Y|X,\beta,V \sim N_n(X \beta, V)$ の共役事前分布は以下だったなあという思い出。

無情報的事前分布：これは55ページで出てきている。Rによるベイジアン動的線型モデルでも15ページで出てきた。読んで字の如く事前に何も情報がないような事前分布のことで、例えば一様分布を採用するなど。
- 無情報的事前分布をつかう意義が、HMC本では「恣意性は許されないから」、DLM本では「あいまいな状況を表したいから」となっていて、HMC本のメッセージ性がここにも強く出ている。

ここでまた3囚人問題：看守が「囚人Bは処刑される」と言ったときに、囚人Aが「自分は 1/2 の確率で生き残れる」と思っても必ずしも間違いではない。例えば、囚人Aが「看守はA以外の名を言う」という条件を知らなかった／理解していなかったとすれば、1/2 で生き残れると考えることは別におかしくない（70～72ページ）。
- 言わんとすることはわかる。けど、Rによるベイジアン動的線型モデルにも「一様分布を仮定すると（中略）一貫していないことになる（15ページ）」とある（自分の解釈は過去のノートを参照）。3囚人問題において、囚人Aは意図をもって「BとCのうち処刑される方を教えてくれてもいいじゃん」と看守に言ったのだから、それを忘れて「看守がBと返答する確率は…なんかよくわからないから一様分布でいいや」というのは態度が一貫していない。
- とはいっても現実は3囚人問題のように単純ではないし、一様分布に立ち戻ることもあるのはわかる。事前分布を一様分布にする方が、そうしない場合よりよほど納得しやすい場合もあると思う。
- ただ、個人的には：データを集める／プレ処理するとき、どうやっても何らかの前提と切り離すことはできない。バイアスのないデータセットなんてない。データを処理するとき、取得したときの前提には無責任であってはならない、と思う。
- この期に及んでだけど、「一貫していない」の解釈はあっているのだろうか。HMC本の56ページあたりを読んでちゃんと考えた方がよさそう。

MAP、EAP（＝事後期待値）あたりの略語、来週には忘れそう。MED に至っては字面的にただの中央値にみえる。

MAP = maximum a posteriori（最大事後確率）。4ページで出てきたのを忘れたので。

Machine Learning: A Probabilistic Perspective：ノート2 - クッキーの日記