Rによるベイジアン動的線型モデル: ノート3

読んでいる本(出典): Rによるベイジアン動的線形モデル (統計ライブラリー) | G.ペトリス, S.ペトローネ, P.カンパニョーリ, 和合 肇, 萩原 淳一郎 | 本 | Amazon.co.jp

前回:ノート2 / 次回:ノート4
目次:Rによるベイジアン動的線型モデル

今日読んだページ: 14~22ページ
以下、自分の解釈と感想(絵)。誤っている可能性があります。

  • 誤植と思われた箇所:
    • 15ページ右下の式:  (\theta^2 - 2 \theta \overline{y}) がさらに2乗されているのは誤り。
    • 16ページ中ほどの式: 突如として  \mu が出てきているが  \theta と思われる。

  • 前回までのあらすじ:
    • 事前分布と尤度を適当に決めて、事後分布を求めて、考える損失関数の下で推定値を出せばよい。
  • 事前分布  \pi(\theta) をどう決めればよいのか、の前に:
    • 事前の想定を明示的に利用するのはベイズ推定の特徴。データから情報を引き出すためには何か事前の想定がいつも必要。「実際、データ自体はそれ自身では何も語らない(14ページ)」。本当にね!
    • 事前分布の選択といっても実際には  \pi(y|\theta) \pi(\theta) のペアを選択するはず。
      このうち、 \pi(y|\theta) については事前に主観的に考えているモデルがあるはず。
      例えば、ここ10年の家賃のデータを集めようとするとき、「駅までの距離 x が近いほど家賃 y は高くて、しかもここ10年で家賃が高騰しているのでは」などの意図があって集めようとするはず。
      f:id:cookie-box:20151231174414p:plain:w270
  • 事前分布  \pi(\theta) をどう決めればよいのか:
    • 計算の利便性のため、モデルに対して共役な事前分布を選ぶ。
    • 事前にはよくわかっていない状態なので、それを反映した事前分布を選ぶ。非正則でもよい。
      • 事前分布に一様分布を選択することについての記述周辺(「さらに、 \theta に一様分布を仮定すると(中略)一貫していないことになる(15ページ)」)についての解釈(おかしいかも): 事前分布を  \theta \in (-\infty , +\infty) の一様分布とするような、「 \theta について本当に何も知らないです」という態度は、「 \theta についての手がかりを得るためのモデル  \pi(y | \theta) についても皆目見当がつかないです」と言っているも同然であり(見当があれば  \theta について何か仮定できるはず)、ベイズアプローチをしようとしている姿勢としてちょっとおかしい(一貫していない)。姿勢としてはおかしいけど、無効なアプローチというわけではない。
    • 階層的に特定化する(事前分布の事前分布を導入する)。
  • 線形回帰モデルに対するベイズアプローチ:
    • 一般の線形回帰モデルはこう:  Y_t = x_t^{T} \beta + \varepsilon_t \, \, , \, \, \varepsilon \sim N(0, \sigma^2)
    •  X も確率変数だったとしても、 Y のモデルに注目できる条件下なら:  Y|X,\beta,V \sim N_n(X \beta, V)
      一般的には  V は対角行列とは限らない(  Y は異時点の変数に依存しうる)。
    • 上記のモデルに対して以下のようなベイズ推定ができる:
      •  V 既知で、  \beta を推定。
      •  \beta 既知で、  V を推定。
      •  \beta V を推定。