雑記：デルタ法にたどり着きたい話

お気付きの点がありましたらご指摘いただけますと幸いです。

Amazon | Asymptotic Statistics (Cambridge Series in Statistical and Probabilistic Mathematics, Series Number 3) | van der Vaart, A. W. | Applied

本記事はこの 26～28 ページの内容に尾ひれを付けたものである。筆者の誤りは筆者に帰属する。

まとめ

母分布が正規分布であることを仮定する検定について、母分布が正規分布でないときにはどう修正すべきなのかに興味があることがあるはずである。
母分布が正規分布でなくとも、検定統計量が「標本平均と真の平均との差」といった形（の連続変換）のときは中心極限定理によって検定統計量が漸近的に正規分布にしたがうとわかる場合もあるが（Ex. t 検定）、検定統計量が「標本平均と真の平均との差」といった形ではないときは漸近的にもしたがう分布がわからなくて困る（Ex. カイ2乗検定）。
しかし、検定統計量が「標本平均」（の連続変換）の形にはもち込めるなら、「真の平均」の周りでテイラー展開することで、「標本平均と真の平均との差」をひねり出して中心極限定理を利用できそうである。
実際そのように求めることができ、そのような状況での確率ベクトル列の連続変換の分布収束先を与えるのがデルタ法である。

母分散のカイ2乗検定は母分布が正規分布のときにしか適用できないのですね（実験ノート）。母分布がヘビーテールであるときに無理に同じ枠組みで検定すると、「真の分散は1以下である」という帰無仮説が正しいのに棄却してしまう確率が有意水準を超えています。

これは困るわけです。例えば……私はねじを生産する工場を経営しているとしましょう。私は日々生産されたねじが均一であるか検査します。「ねじの外径の分散が基準値以下である」という帰無仮説が棄却されたら、製造機械に不具合が生じているとしてメンテナンスするものとします。しかしここで、生産されるねじの外径の分布が正規分布でないならば、帰無仮説を誤って棄却し、過剰な回数メンテナンスすることになる恐れがあります……メンテナンスコストを必要十分に抑えるために、母分布が正規分布でなくとも母分散を検定することはできないのでしょうか？

それ以前に生産されるねじの外径がヘビーテールになるってまずいんじゃないか……？いやねじの製造に詳しくないから実際は知らないけど、分布の裾にあたるねじを買わされるお客様がかわいそうだぞ……。

さておき、母分布が正規分布でないときの母分散の検定だけど、そもそも母分布が正規分布でないときには何が違ってくるのか考えてみようよ。

なるほど。まず、 $X_i$ がしたがう母分布が正規分布のときは $\sum_{i=1}^n (X_i - \bar{X}_n)^2 / \sigma^2$ が自由度 $n-1$ のカイ2乗分布にしたがいましたね（というかこれがカイ2乗分布の出自というか）。では母分布が正規分布でないときはこれがどのような分布にしたがうかというと……わかりません……。

$n$ が大きい場合を考えよう。中心極限定理を利用することはできないかな？

以前にもそのようにしたのでそれは検討しましたが、 $\sum_{i=1}^n (X_i - \bar{X}_n)^2 / \sigma^2$ は中心極限定理を適用できる形になっていませんよね。中心極限定理を適用するからには、「 $n$ 個の観測の平均」といった形になっていなければなりませんが、そうなっていません。

定理〈中心極限定理〉 $Y_1, Y_2, \cdots, Y_n$ をそれぞれ独立に同一の分布（平均 $\mu$ ，分散 $\sigma^2 < \infty$ ）にしたがう確率変数とする。このとき、 $\sqrt{n} \bigl( \overline{Y}_n - \mu \bigr)$ は $\mathcal{N}(0, \sigma^2)$ に分布収束する。

一応 $\sum_{i=1}^n (X_i - \bar{X}_n)^2 = n (\bar{X^2}_n - \bar{X}_n^2)$ と変形できますが、こうしたからといってやはり $n (\bar{X^2}_n - \bar{X}_n^2)$ は「 $n$ 個の観測の平均」にはなっていませんし……。

でも $\bar{X^2}_n - \bar{X}_n^2$ って、 $\displaystyle \left( \begin{array}{c} X_1 \\ X_1^2 \end{array} \right) , \, \left( \begin{array}{c} X_2 \\ X_2^2 \end{array} \right) , \, \cdots, \, \left( \begin{array}{c} X_n \\ X_n^2 \end{array} \right)$ という $n$ 個の観測の平均である $\left( \begin{array}{c} \bar{X}_n \\ \bar{X^2}_n \end{array} \right)$ を「連続関数」で変換したものだよね？

なんと。そういわれると、中心極限定理を利用してそのベクトルの分布を求め、連続写像定理を適用すれば目的の統計量の分布が求まります……と一瞬思いましたが、中心極限定理で正規分布に収束するとなるのは「 $n$ 個の観測の平均の真の平均との差」ですから、実際にいえるのは $\left( \begin{array}{c} \bar{X}_n - \alpha_1 \\ \bar{X^2}_n - \alpha_2 \end{array} \right)$ が漸近的に正規分布にしたがうということになり（ $\alpha_k$ は原点周りの $k$ 次のモーメント）、これだと連続写像するときに余計な項が出てしまうでしょう。

そうなんだよね。だから、真の平均の周りでテイラー展開できないかな。

テイラー展開ですって……？

（中略）

デルタ法をまとめておきます。

定理〈デルタ法〉

$\phi: \mathbb{D}_\phi \subset \mathbb{R}^k \mapsto \mathbb{R}^m$ を $\theta \in \mathbb{D}_\phi$ で微分可能な関数とする。 $T_1, \, T_2, \, \cdots, \, T_n, \, \cdots \in \mathbb{D}_\phi$ を確率ベクトル列とする。このとき、 $r_n \to \infty$ であるような数列 $\{r_n\}$ に対して、 $r_n (T_n - \theta)$ が $T$ に分布収束するならば、以下の両方が成り立つ。

$\; r_n \bigl( \phi(T_n) - \phi(\theta) \bigr)$ は $\phi' (\theta) \, T$ に分布収束する。
$\; r_n \bigl( \phi(T_n) - \phi(\theta) \bigr)$ は $r_n \phi' (\theta) (T_n - \theta)$ に確率収束する。

ヤコビ行列 $\phi' (\theta)$ の定義より $\phi (\theta + u) = \phi(\theta) + \phi' (\theta) u + \mathcal{o}(\|u\|)$ であるので、 $R(u) \equiv \phi (\theta + u) - \phi(\theta) - \phi' (\theta) u$ とおくと、 $R(u) = \mathcal{o}(\|u\|)$ ですが、ここで、ランダウ記号と確率的ランダウ記号の関係の補題から、 $R(T_n - \theta) = \phi (T_n) - \phi(\theta) - \phi' (\theta) (T_n - \theta) = \mathcal{o}_p(\|T_n - \theta\|)$ です。この両辺に $r_n$ をかけることで 2. を得ます（詳細略）。1. は連続写像定理とスラツキーの定理などを駆使すると得られます。

中略の箇所が途中