Rによるベイジアン動的線型モデル：ノート3

読んでいる本（出典）： Rによるベイジアン動的線形モデル (統計ライブラリー) | G.ペトリス, S.ペトローネ, P.カンパニョーリ, 和合肇, 萩原淳一郎 | 本 | Amazon.co.jp

前回：ノート2 ／次回：ノート4
目次：Rによるベイジアン動的線型モデル

今日読んだページ： 14～22ページ
以下、自分の解釈と感想（絵）。誤っている可能性があります。

誤植と思われた箇所：
- 15ページ右下の式： $(\theta^2 - 2 \theta \overline{y})$ がさらに2乗されているのは誤り。
- 16ページ中ほどの式：突如として $\mu$ が出てきているが $\theta$ と思われる。

前回までのあらすじ：
- 事前分布と尤度を適当に決めて、事後分布を求めて、考える損失関数の下で推定値を出せばよい。
事前分布をどう決めればよいのか、の前に：
- 事前の想定を明示的に利用するのはベイズ推定の特徴。データから情報を引き出すためには何か事前の想定がいつも必要。「実際、データ自体はそれ自身では何も語らない（14ページ）」。本当にね！
- 事前分布の選択といっても実際には $\pi(y|\theta)$ と $\pi(\theta)$ のペアを選択するはず。
  このうち、 $\pi(y|\theta)$ については事前に主観的に考えているモデルがあるはず。
  例えば、ここ10年の家賃のデータを集めようとするとき、「駅までの距離 x が近いほど家賃 y は高くて、しかもここ10年で家賃が高騰しているのでは」などの意図があって集めようとするはず。
事前分布をどう決めればよいのか：
- 計算の利便性のため、モデルに対して共役な事前分布を選ぶ。
- 事前にはよくわかっていない状態なので、それを反映した事前分布を選ぶ。非正則でもよい。
  - 事前分布に一様分布を選択することについての記述周辺（「さらに、 $\theta$ に一様分布を仮定すると（中略）一貫していないことになる（15ページ）」）についての解釈（おかしいかも）：事前分布を $\theta \in (-\infty , +\infty)$ の一様分布とするような、「 $\theta$ について本当に何も知らないです」という態度は、「 $\theta$ についての手がかりを得るためのモデル $\pi(y | \theta)$ についても皆目見当がつかないです」と言っているも同然であり（見当があれば $\theta$ について何か仮定できるはず）、ベイズアプローチをしようとしている姿勢としてちょっとおかしい（一貫していない）。姿勢としてはおかしいけど、無効なアプローチというわけではない。
- 階層的に特定化する（事前分布の事前分布を導入する）。
線形回帰モデルに対するベイズアプローチ：
- 一般の線形回帰モデルはこう：　 $Y_t = x_t^{T} \beta + \varepsilon_t \, \, , \, \, \varepsilon \sim N(0, \sigma^2)$
- $X$ も確率変数だったとしても、 $Y$ のモデルに注目できる条件下なら：　 $Y|X,\beta,V \sim N_n(X \beta, V)$
  一般的には $V$ は対角行列とは限らない（ $Y$ は異時点の変数に依存しうる）。
- 上記のモデルに対して以下のようなベイズ推定ができる：
  - $V$ 既知で、 $\beta$ を推定。
  - $\beta$ 既知で、 $V$ を推定。
  - $\beta$ と $V$ を推定。