正規分布からの iid 標本の標本平均と不偏分散が独立であることの証明の話【その3】

参考文献

  1. statistics - Proof of the independence of the sample mean and sample variance - Mathematics Stack Exchange. https://math.stackexchange.com/questions/47350/proof-of-the-independence-of-the-sample-mean-and-sample-variance. 参照日 2022年3月2日.
  2. 久保川 達也. 現代数理統計学の基礎. 共立出版, 2017.
  3. Basu's theorem - Wikipedia. https://en.wikipedia.org/wiki/Basu%27s_theorem. 参照日 2022年3月3日.
  4. Completeness (statistics) - Wikipedia. https://en.wikipedia.org/wiki/Completeness_(statistics). 参照日 2022年3月3日.
  5. Ancillary statistic - Wikipedia. https://en.wikipedia.org/wiki/Ancillary_statistic. 参照日 2022年3月3日.
  6. 正規分布からの iid 標本の標本平均と不偏分散が独立であることの証明の話 - クッキーの日記
    • 前々回の記事です。
  7. 正規分布からの iid 標本の標本平均と不偏分散が独立であることの証明の話【その2】 - クッキーの日記
    • 前回の記事です。


前回までの記事の証明について、参考文献 [1] にバス―の定理からただちに示されるとあるので確認します。
バス―の定理は参考文献 [2] の 222 ページにありますがこの箇所の記述に言葉を補ってかきます。 なお、参考文献 [2] の 117 ページにある、「確率が \theta に依存する場合には P_{\theta}(\cdot)\theta に依存しない場合には P(\cdot) 」という表記を採用します。また、今回の記事以降、標本も参考文献 [2} に倣って X = (X_1, \cdots, X_n) と表記します。
定理. 〈 バス―の定理 〉
(P_\theta ; \, \theta \in \Theta) を可測空間 (\mathcal{X}, \mathcal{A}) 上の確率分布族とし、T(X)V(X) を可測空間 (\mathcal{X}, \mathcal{A}) から可測空間 (\mathcal{Y}, \mathcal{B}) への可測関数とする。T(X)\theta について完備十分統計量であり、V(X)\theta について補助統計量であるならば、 T(X)V(X) は独立である。
ただ証明にうつるまえに統計量用語が色々あるので意味を確認します。

  • T(X)\theta について十分統計量である。 \Leftrightarrow \; \; P_{\theta}(X = x | T(X) = t) = P(X = x | T(X) = t)
    • 例. N(\theta, I_n), \; \theta \in \mathbb{R}^n を考える。T(X) = \overline{X}\theta について十分統計量である。これは参考文献 [1] のベストアンサーの we may write に続く式をみるとわかる。この式で \overline{x} を固定したときもはや \mu は分布の形状(位置)に関わってこない。
  • V(X)\theta について補助統計量である。 \Leftrightarrow \; \; P_{\theta}(V(X)) = P(V(X))
    • 例. N(\theta, I_n), \; \theta \in \mathbb{R}^n を考える。V(X) = (1/(n-1)) \sum_{i=1}^n (X_i - \overline{X})^2\theta について補助統計量である。不偏分散の分布は自由度 n-1 のカイ2乗分布であり \theta によらない。
  • \theta についての十分統計量 T(X) が完備である。 \Leftrightarrow \; 可測関数 h(\cdot) について、任意の \theta に対し  E_\theta [h(T)]=0 であるならば、任意の \theta に対し  P_\theta (h(T)=0) = 1 である。
    • なお、参考文献 [3] のバス―の定理では T が complete ではなく boundedly complete であることを要求しています。bounded な h に対してだけ満たされればよいというのが boundedly complete で、バス―の定理ではそれで十分ですが、和訳が有界完備というのかわからないので boundedly は以降無視します。

十分統計量はパラメータの情報を十分含んだ統計量と理解できますが、補助統計量は何を補助するのかとか完備とは何が完全に備わっているのかよくわからないですが(自分は)ウィキペディアに詳しかったので参考文献に含めました。それでバス―の定理の証明は以下になります。

証明.
任意の \theta に対し、\theta の下で V \in B \; (B \in \mathcal{B}) となる事象の確率は以下になる。右辺への変形では T との同時分布にして周辺化しているだけで、これ自体は VT がどのような統計量かによらず成り立つ。

\displaystyle \begin{align}  P_{\theta} \bigl( V^{-1}(B) \bigr) &= E_{\theta}^T \Bigl[ P_{\theta} \bigl( V^{-1}(B)  | T \bigr) \Bigr] \end{align}

ここで、左辺に V が補助統計量であることを、右辺に T が十分統計量であることを適用する。左辺が \theta に依存しなくなったので E_{\theta}^T \bigl[ \cdot \bigl] の中にそのまま入れる。

\displaystyle \begin{align} & P \bigl( V^{-1}(B) \bigr) = E_{\theta}^T \Bigl[ P \bigl( V^{-1}(B)  | T \bigr) \Bigr] \\ \Leftrightarrow \; \; & E_{\theta}^T \Bigl[ P \bigl( V^{-1}(B) \bigr) - P \bigl( V^{-1}(B)  | T \bigr) \Bigr] = 0\end{align}

これより、いま T は完備なので、\theta によらず  P \bigl( V^{-1}(B) \bigr) = P \bigl( V^{-1}(B)  | T \bigr) が成り立つ。
イメージしやすさのために標本平均と不偏分散でかきます。確率分布族 N(\theta, I_n), \; \theta \in \mathbb{R}^n を考えます。

  1. \theta の下で不偏分散が微小区間 B に入る確率は、\theta の下での不偏分散と標本平均の同時密度関数を標本平均について周辺化することでも得られる。つまり、\theta の下で標本平均 T が与えられた場合に不偏分散が微小区間 B に入る確率の、標本平均 T に関する期待値として得られる。
  2. ところで、\theta の下で標本平均が与えられた場合に不偏分散が微小区間 B に入る確率は、 \theta によらない。
  3. ところで、\theta の下で不偏分散が微小区間 B に入る確率も、 \theta によらない。
  4. そうすると、「『不偏分散が微小区間 B に入る確率』から『標本平均 T が与えられた場合に不偏分散が微小区間 B に入る確率』をひいたもの」の、標本平均 T に関する期待値が \theta によらずゼロになる。