雑記

雑記 漸近理論

お気付きの点がありましたらご指摘いただけますと幸いです。

  1. Amazon | Asymptotic Statistics (Cambridge Series in Statistical and Probabilistic Mathematics, Series Number 3) | van der Vaart, A. W. | Applied

母分布が正規分布のときは標本分散がしたがう分布がわかります。ここで、 \chi_{n-1}^2 は自由度 n のカイ2乗分布の意です。

命題 ア〈 正規分布からの標本の分散がしたがう分布 〉
X_1, \, X_2, \, \cdots, \, X_n をそれぞれ独立に \mathcal{N}(\mu, \, \sigma^2) にしたがう確率変数とする。
X_1, \, X_2, \, \cdots, \, X_n の分散を S_n^2 \equiv n^{-1} \sum_{i=1}^n (X_i - \overline{X_n})^2 とおく。

このとき、 n S_n^2 / \sigma^2 は \chi_{n-1}^2 にしたがう。

母分布が正規分布でないときには標本分散がしたがう分布がわかりませんが、4次までの中心モーメントが有限であれば漸近分布がわかります。モーメントよりも尖度を分布の性質として議論することが多そうなので、尖度でも表記しておきます。
命題 イ〈 標本分散が漸近的にしたがう分布 〉
F を 1, 2, 3, 4 次の中心モーメント \mu_1, \, \mu_2, \, \mu_3, \, \mu_4 が有限であるような分布とし、 X_1, \, X_2, \, \cdots, \, X_n をそれぞれ独立に F にしたがう確率変数とする。
X_1, \, X_2, \, \cdots, \, X_n の分散を S_n^2 \equiv n^{-1} \sum_{i=1}^n (X_i - \overline{X_n})^2 とおく。

このとき、 \sqrt{n}(S_n^2 - \mu_2) は \mathcal{N}(0, \mu_4 - \mu_2^2) に分布収束する。

命題 ウ〈 標本分散が漸近的にしたがう分布（尖度で表記する版） 〉
F を 1, 2, 3, 4 次の中心モーメント \mu_1, \, \mu_2, \, \mu_3, \, \mu_4 が有限であるような分布とし、 X_1, \, X_2, \, \cdots, \, X_n をそれぞれ独立に F にしたがう確率変数とする。
X_1, \, X_2, \, \cdots, \, X_n の分散を S_n^2 \equiv n^{-1} \sum_{i=1}^n (X_i - \overline{X_n})^2 とおく。

このとき、 \sqrt{n}(S_n^2 / \mu_2 - 1) は \mathcal{N}(0, \kappa + 2) に分布収束する。

ただし、\kappa \equiv \mu_4 / \mu_2^2 - 3 は F の尖度である。

ここまでくると、母分布が正規分布でないときにカイ2乗検定をするとどのように誤るかがわかります。先に結論をいうと、以下のようになります。
命題 エ〈 母分布が正規分布でないときにカイ2乗検定をしたとき帰無仮説が棄却される確率 〉
F を 1, 2, 3, 4 次の中心モーメント \mu_1, \, \mu_2, \, \mu_3, \, \mu_4 が有限、特に \mu_2 = 1 であるような分布とし、 X_1, \, X_2, \, \cdots, \, X_n をそれぞれ独立に F にしたがう確率変数とする。
X_1, \, X_2, \, \cdots, \, X_n の分散を S_n^2 \equiv n^{-1} \sum_{i=1}^n (X_i - \overline{X_n})^2 とおく。

また、c_{n-1, \alpha} を自由度 n-1 のカイ2乗分布の上側 100 \alpha パーセント点とする。
z_{\alpha} を標準正規分布の上側 100 \alpha パーセント点とする。
\Phi(x) を標準正規分布の累積分布関数とする。

このとき、 a_n \equiv \mathbb{P} (n S_n^2 > c_{n-1, \alpha}) は \displaystyle 1 - \Phi \left( z_\alpha \sqrt{\frac{2}{\kappa + 2}} \right) に収束する。

これを示すには、以下のようにかき換えて、

\displaystyle a_n = \mathbb{P} (n S_n^2 > c_{n-1, \alpha}) = \mathbb{P} \left( \frac{\sqrt{n} S_n^2 -1}{\sqrt{\kappa + 2}} > \frac{c_{n-1, \alpha} - n}{\sqrt{2n}} \sqrt{\frac{2}{\kappa + 2}} \right)

このうえで n を大きくとり、命題 ウ と後述の命題 オ の漸近分布によみかえます。

命題 オ〈 カイ2乗分布の自由度を大きくしたときの漸近分布 〉
X_1, \, X_2, \, \cdots, \, X_n をそれぞれ \chi_{1}^2, \, \chi_{2}^2, \, \cdots, \chi_{n}^2 にしたがう確率変数とする。このとき、 (X_n - n) / \sqrt{2n} は \mathcal{N}(0, \, 1) に分布収束する。
命題 エ の帰結は、母分布 F の尖度 \kappa が 0 より大きいならばそれだけ棄却限界が近づいてきてしまう、といえるでしょう。

途中

雑記

雑記 漸近理論

お気付きの点がありましたらご指摘いただけますと幸いです。

  1. Amazon | Asymptotic Statistics (Cambridge Series in Statistical and Probabilistic Mathematics, Series Number 3) | van der Vaart, A. W. | Applied
    • 本記事はこの 26～27 ページの内容に尾ひれを付けたものである。筆者の誤りは筆者に帰属する。
  2. Moment (mathematics) - Wikipedia
    • "Transformation of center" に、点 a の周りのモーメントから点 b の周りのモーメントへの変換公式がある。

個々のデータ点が独立に同一の分布 F にしたがうサイズ n の標本 (X_1, \, X_2, \, \cdots, \, X_n) の標本分散 S^2 = n^{-1} \sum_{i=1}^n (X_i - \overline{X})^2 の漸近分布を知りたいです。

  • まず、標本分散 S_n^2 はいつも S_n^2= \overline{X_n^2} - \overline{X_n}^2 \equiv \phi(\overline{X_n}, \, \overline{X_n^2}) とかけます。ここで、\phi は \phi(x_1, x_2) = x_2 - x_1^2 なる2変数関数であり、そのヤコビ行列も後の都合上計算しておくと、\phi'(x_1, x_2) = \left( \begin{array}{c} -2 x_1 & 1 \end{array} \right) です。
  • また、中心極限定理より、確率ベクトル \sqrt{n} \left( \begin{array}{c} \overline{X_n} - \alpha_1 \\ \overline{X_n^2} - \alpha_2 \end{array} \right) は、漸近的に2変量正規分布 G \equiv \mathcal{N} \Biggl( \left( \begin{array}{c} 0 \\ 0 \end{array} \right), \, \left( \begin{array}{cc} \alpha_2 - \alpha_1^2 & \alpha_3 - \alpha_1 \alpha_2 \\ \alpha_3 - \alpha_1 \alpha_2 & \alpha_4 - \alpha_2^2 \end{array} \right) \Biggr) にしたがいます。
    ここで、\alpha_k は分布 F の原点周りの k 次モーメントです。
  • これはデルタ法が適用できる状況です。つまり、\phi は微分可能な関数であり、確率ベクトル T_n \equiv (\overline{X_n}, \, \overline{X_n^2}) と定ベクトル \theta \equiv (\alpha_1, \, \alpha_2) について、\sqrt{n}(T_n - \theta) が先ほど出てきた2変量正規分布 G にしたがう確率ベクトル T = (T_1, T_2) に分布収束しているという状況です。
    なのでデルタ法を適用すると、 \; \sqrt{n} \bigl( \phi(T_n) - \phi(\theta) \bigr) は \phi' (\theta) T に分布収束します。
    したがって、 \; \sqrt{n} \bigl( S_n^2 + \alpha_1^2 - \alpha_2 \bigr) は -2 \alpha_1 T_1 + T_2 に分布収束します。
……ここまではよいですが、では -2 \alpha_1 T_1 + T_2 がしたがう分布とはどのような分布なのでしょうか。\alpha_1 = 0 のときは、単に T_2 がしたがう分布ということなので、2変量正規分布 G の第2成分の周辺分布になるということですが……。

教科書 [1] の 27 ページでやっているように、そもそもいま標本分散の漸近分布を求めようとしているわけで、標本分散は定数を足し引きしても不変なので、Y_i = X_i - \alpha_1 という変数変換をして同じ議論を進めればよい。そうしたら Y_i の原点周りの1次モーメントは 0 になるので、単に2変量正規分布 G' の第2成分の周辺分布になる。このとき G' の分散共分散行列は Y_i の原点周りの 2, 3, 4 次モーメントでかけているはずだけど、それって X_i の \alpha_1 周りの 2, 3, 4 次モーメントに他ならない。

あとまあ、-2 \alpha_1 T_1 + T_2 がしたがう分布を真っ向から求めようとしてもできる。-2 \alpha_1 T_1 + T_2 の特性関数が G の特性関数でかけることに着目して、あとは分散を計算すればよい。ただ、これでやると分散が原点周りのモーメントの式で出てくるから、\alpha_1 周りのモーメントに直さないと結局意味がわからないんだよね……項がいっぱい出てくるから参考文献 [2] の変換公式に当てはめてほしい……。

そうですか……。

続かない

雑記： デルタ法にたどり着きたい話

雑記 漸近理論

お気付きの点がありましたらご指摘いただけますと幸いです。

  1. Amazon | Asymptotic Statistics (Cambridge Series in Statistical and Probabilistic Mathematics, Series Number 3) | van der Vaart, A. W. | Applied
    • 本記事はこの 26～28 ページの内容に尾ひれを付けたものである。筆者の誤りは筆者に帰属する。

まとめ

  • 母分布が正規分布であることを仮定する検定について、母分布が正規分布でないときにはどう修正すべきなのかに興味があることがあるはずである。
  • 母分布が正規分布でなくとも、検定統計量が「標本平均と真の平均との差」といった形（の連続変換）のときは中心極限定理によって検定統計量が漸近的に正規分布にしたがうとわかる場合もあるが（Ex. t 検定）、検定統計量が「標本平均と真の平均との差」といった形ではないときは漸近的にもしたがう分布がわからなくて困る（Ex. カイ2乗検定）。
  • しかし、検定統計量が「標本平均」（の連続変換）の形にはもち込めるなら、「真の平均」の周りでテイラー展開することで、「標本平均と真の平均との差」をひねり出して中心極限定理を利用できそうである。
  • 実際そのように求めることができ、そのような状況での確率ベクトル列の連続変換の分布収束先を与えるのがデルタ法である。

母分散のカイ2乗検定は母分布が正規分布のときにしか適用できないのですね（実験ノート）。母分布がヘビーテールであるときに無理に同じ枠組みで検定すると、「真の分散は1以下である」という帰無仮説が正しいのに棄却してしまう確率が有意水準を超えています。

これは困るわけです。例えば……私はねじを生産する工場を経営しているとしましょう。私は日々生産されたねじが均一であるか検査します。「ねじの外径の分散が基準値以下である」という帰無仮説が棄却されたら、製造機械に不具合が生じているとしてメンテナンスするものとします。しかしここで、生産されるねじの外径の分布が正規分布でないならば、帰無仮説を誤って棄却し、過剰な回数メンテナンスすることになる恐れがあります……メンテナンスコストを必要十分に抑えるために、母分布が正規分布でなくとも母分散を検定することはできないのでしょうか？

それ以前に生産されるねじの外径がヘビーテールになるってまずいんじゃないか……？ いやねじの製造に詳しくないから実際は知らないけど、分布の裾にあたるねじを買わされるお客様がかわいそうだぞ……。

さておき、母分布が正規分布でないときの母分散の検定だけど、そもそも母分布が正規分布でないときには何が違ってくるのか考えてみようよ。

なるほど。まず、X_i がしたがう母分布が正規分布のときは \sum_{i=1}^n (X_i - \bar{X}_n)^2 / \sigma^2 が自由度 n-1 のカイ2乗分布にしたがいましたね（というかこれがカイ2乗分布の出自というか）。では母分布が正規分布でないときはこれがどのような分布にしたがうかというと……わかりません……。

n が大きい場合を考えよう。中心極限定理を利用することはできないかな？

以前にもそのようにしたのでそれは検討しましたが、 \sum_{i=1}^n (X_i - \bar{X}_n)^2 / \sigma^2 は中心極限定理を適用できる形になっていませんよね。中心極限定理を適用するからには、「n 個の観測の平均」といった形になっていなければなりませんが、そうなっていません。

定理〈 中心極限定理 〉 Y_1, Y_2, \cdots, Y_n をそれぞれ独立に同一の分布（平均 \mu，分散 \sigma^2 < \infty ）にしたがう確率変数とする。このとき、 \sqrt{n} \bigl( \overline{Y}_n - \mu \bigr) は \mathcal{N}(0, \sigma^2) に分布収束する。
一応 \sum_{i=1}^n (X_i - \bar{X}_n)^2 = n (\bar{X^2}_n - \bar{X}_n^2) と変形できますが、こうしたからといってやはり n (\bar{X^2}_n - \bar{X}_n^2) は「n 個の観測の平均」にはなっていませんし……。

でも \bar{X^2}_n - \bar{X}_n^2 って、 \displaystyle \left( \begin{array}{c} X_1 \\ X_1^2 \end{array} \right) , \, \left( \begin{array}{c} X_2 \\ X_2^2 \end{array} \right) , \, \cdots, \, \left( \begin{array}{c} X_n \\ X_n^2 \end{array} \right) という n 個の観測の平均である \left( \begin{array}{c} \bar{X}_n \\ \bar{X^2}_n \end{array} \right) を「連続関数」で変換したものだよね？

なんと。そういわれると、中心極限定理を利用してそのベクトルの分布を求め、連続写像定理を適用すれば目的の統計量の分布が求まります……と一瞬思いましたが、中心極限定理で正規分布に収束するとなるのは「n 個の観測の平均の真の平均との差」ですから、実際にいえるのは \left( \begin{array}{c} \bar{X}_n - \alpha_1 \\ \bar{X^2}_n - \alpha_2 \end{array} \right) が漸近的に正規分布にしたがうということになり（\alpha_k は原点周りの k 次のモーメント）、これだと連続写像するときに余計な項が出てしまうでしょう。

そうなんだよね。だから、真の平均の周りでテイラー展開できないかな。

テイラー展開ですって……？

（中略）

デルタ法をまとめておきます。

定理〈 デルタ法 〉
\phi: \mathbb{D}_\phi \subset \mathbb{R}^k \mapsto \mathbb{R}^m を \theta \in \mathbb{D}_\phi で微分可能な関数とする。 T_1, \, T_2, \, \cdots, \, T_n, \, \cdots \in \mathbb{D}_\phi を確率ベクトル列とする。このとき、r_n \to \infty であるような数列 \{r_n\} に対して、 r_n (T_n - \theta) が T に分布収束するならば、以下の両方が成り立つ。
  1. \; r_n \bigl( \phi(T_n) - \phi(\theta) \bigr) は \phi' (\theta) \, T に分布収束する。
  2. \; r_n \bigl( \phi(T_n) - \phi(\theta) \bigr) は r_n \phi' (\theta) (T_n - \theta) に確率収束する。
ヤコビ行列 \phi' (\theta) の定義より \phi (\theta + u) = \phi(\theta) + \phi' (\theta) u + \mathcal{o}(\|u\|) であるので、 R(u) \equiv \phi (\theta + u) - \phi(\theta) - \phi' (\theta) u とおくと、 R(u) = \mathcal{o}(\|u\|) ですが、ここで、ランダウ記号と確率的ランダウ記号の関係の補題から、 R(T_n - \theta) = \phi (T_n) - \phi(\theta) - \phi' (\theta) (T_n - \theta) = \mathcal{o}_p(\|T_n - \theta\|) です。この両辺に r_n をかけることで 2. を得ます（詳細略）。1. は連続写像定理とスラツキーの定理などを駆使すると得られます。

中略の箇所が途中