正規分布からの iid 標本の標本平均と不偏分散が独立であることの証明の話【その4】

2022-03-20 加筆しました。

参考文献

井手剛. 入門機械学習による異常検知―Rによる実践ガイド―. コロナ社, 2015.
入門機械学習による異常検知―Rによる実践ガイド：ノート2 - クッキーの日記
正規分布からの iid 標本の標本平均と不偏分散が独立であることの証明の話 - クッキーの日記【その1】
正規分布からの iid 標本の標本平均と不偏分散が独立であることの証明の話【その2】 - クッキーの日記
正規分布からの iid 標本の標本平均と不偏分散が独立であることの証明の話【その3】 - クッキーの日記

前回の記事までで「正規分布からの iid 標本の標本平均と不偏分散が独立である」証明の色々なパターンを扱ってきた。参考文献 [1] での証明もまた【その1】と同じ $Q$ を見出す派だが、していることが少し異なる。

参考文献 [1] では直交行列 $Q$ で $\overrightarrow{Z}=Q^{\top} \overrightarrow{Y}$ と変換して $V_n = \frac{1}{n-1} \sum_{i=2}^{n} {Z^{(i)}}^2$ 、つまり2次形式の標準形とすることは最初から目指す（ノーテーションは【その1】の記事と同じである）。一応、どのような $Q$ がこれを達成するかは $Q$ の成分を使ってこの式をかき下して係数比較することで求まる。というか【その1】の潜在変数版の証明で限りなくそれをやっている。他方、参考文献 [1] では

$\begin{align} \displaystyle V_n &= \frac{1}{n-1} \sum_{i=1}^{n} {Y^{(i)}}^2 - \frac{n}{n-1} (\overline{Y}_n)^2 \\ &= \frac{1}{n-1} \overrightarrow{Y}^\top \overrightarrow{Y} - \frac{n}{n-1} \left( \frac{1}{n} 1_n^{\top} \overrightarrow{Y} \right)\left( \frac{1}{n} 1_n^{\top} \overrightarrow{Y} \right) \\ &= \frac{1}{n-1} \overrightarrow{Y}^\top \left(I_n - \frac{1}{n} 1_n 1_n^{\top} \right) \overrightarrow{Y} \end{align}$
より $H_n \equiv I_n - 1_n 1_n^{\top} /n$ を $Q^\top H_n Q$ で対角化することを目指す。それで $H_n$ の固有値を求めようとすると参考文献 [1] の33～34ページ（初版第3刷）の議論から固有値の満たすべき方程式が $- \lambda (1 - \lambda)^{n-1} =0$ になる。このことから $H_n$ の固有値が1つは $0$ でそれ以外は $1$ なのはわかるが $0$ に対応する固有ベクトルを求めるのに結局係数比較っぽい議論をしているような気がしないでもない。また、「標本平均と不偏分散が独立であることを示したい」を目的に据えるならば「2次形式の標準形にしたい」というアプローチをとるのは直接嚙み合っていない。ただし、参考文献 [1] の文脈はむしろ「不偏分散のしたがう分布を知りたい」であり、そのために不偏分散を見通しのよい形にするのは自然である。

標本 $X^{(1)}, \cdots, X^{(n)} \overset{\rm iid}{\sim} N(\mu,\sigma^2)$ の標本平均 $\overline{X}_n$ と不偏分散 $V_n$ が独立であることの証明まとめ

標本を $N(\overrightarrow{\mu}, \sigma^2 I_n)$ からのサイズ 1 の標本と考える。確率分布族 $N(\overrightarrow{\mu'}, \sigma^2 I_n), \; \overrightarrow{\mu'} \in \mathbb{R}^n$ を考えたとき、 $\overline{X}_n$ は $\overrightarrow{\mu'}$ について完備十分統計量であり、 $V_n$ は $\overrightarrow{\mu'}$ について補助統計量である。したがってバス―の定理より、任意の $\mu'$ について $\overline{X}_n$ と $V_n$ は独立である。【その3】
標本をからのサイズ 1 の標本と考える。この標本はからのサイズ 1 の標本の変換で生成できる。ただしは任意の直交行列である。
- ここで天下り的に $Q$ として 1 列目の成分がすべて $1/\sqrt{n}$ である直交行列を選ぶと、 $\overline{X}_n$ は $Z^{(1)}$ のみに依存し、 $V_n$ は $Z^{(2)}, \cdots, Z^{(n)}$ のみに依存する。よって $\overline{X}_n$ と $V_n$ は独立である。【その1a】
- ここで、 $Q$ として「 $V_n$ が $\overrightarrow{Z}$ の最初の $m$ 個の成分には依存しない」ようになるものを取りたい。そうなるためには $Q$ の最初の $m$ 列は列和が $\sqrt{n}$ でなければならない。よって $Q$ は 1 列目の成分がすべて $1/\sqrt{n}$ である直交行列でなければならない。逆にこのとき $\overline{X}_n$ は $Z^{(1)}$ のみに依存する。よって $\overline{X}_n$ と $V_n$ は独立である。【その1b】
- $\overline{X}_n$ と $V_n$ が独立かというよりは $V_n$ がどのような分布にしたがうか知りたいので、 $Q$ として $V_n$ を2次形式の標準形にするもの、つまり、 $H_n \equiv I_n - 1_n 1_n^{\top} /n$ を対角化するものを選ぶ。すると上記2つのアプローチと同じ $Q$ が見出される。【その4】
標本を $N(\overrightarrow{\mu}, \sigma^2 I_n)$ からのサイズ 1 の標本と考える。この確率密度関数は、 $\overline{X}_n$ のみに依存する部分と、 $(X^{(2)} - \overline{X}_n, \cdots, X^{(n)} - \overline{X}_n)$ のみに依存する部分の積でかける。よって $\overline{X}_n$ と $(X^{(2)} - \overline{X}_n, \cdots, X^{(n)} - \overline{X}_n)$ は独立である。よって $\overline{X}_n$ と $V_n$ は独立である。【その2】