雑記：ネイマン-ピアソンの補題とカーリン-ルビンの定理

参考文献

日本統計学会公式認定統計検定1級対応統計学 | 二宮嘉行, 大西俊郎, 小林景, 椎名洋, 笛田薫, 田中研太郎, 岡田謙介, 大屋幸輔, 廣瀬英雄, 折笠秀樹, 日本統計学会, 竹村彰通, 岩崎学 |本 | 通販 | Amazon
ネイマン・ピアソンの補題 - Wikipedia
probability - Proof of Karlin-Rubin's theorem, detail about a real analysis fact. - Mathematics Stack Exchange
https://www.soph.uab.edu/sites/edu.ssg/files/People/KZhang/BST695-11Fall/BST695-2011-Fall-Chapter-08.pdf

参考文献1. の93、94ページに「ネイマン-ピアソンの基本定理」と「単調尤度比と一様最強力検定」がありますが、証明がなかったので、前者は参考文献2. を、後者は参考文献3. にリンクがあった参考文献4. を参考にかきました。ただ後者の証明はだいぶ自分でかいたのでおかしい点があるかもしれません。私の誤りは私に帰属します。お気付きの点がありましたらコメントでご指摘いただけますと幸いです。

ネイマン-ピアソンの補題

$X$ を確率変数（または確率変数ベクトル）、 $f(x;\theta)$ を $X$ の確率密度関数（ $X$ が離散型の場合は確率質量関数）とし、帰無仮説を $\theta=\theta_0$ とし、対立仮説を $\theta=\theta_1$ とする。このとき、もし以下のような検定 $\delta$ の第一種の誤りの確率が $\alpha$ であれば、この検定 $\delta$ は有意水準 $\alpha$ の検定の中で最強力検定である。

検定 $\delta$ ： $X$ の実現値 $x$ に対して、

$f(x;\theta_1)/f(x;\theta_0) > c$ ならば、帰無仮説を棄却する。
$f(x;\theta_1)/f(x;\theta_0) = c$ ならば、 $X$ とは独立に $(0,1)$ 区間の一様分布にしたがう確率変数 $Y$ の実現値 $y$ を生成して、

$y < r$ ならば、帰無仮説を棄却する。
$y \geqq r$ ならば、帰無仮説を棄却しない。

$f(x;\theta_1)/f(x;\theta_0) < c$ ならば、帰無仮説を棄却しない。

証明のイメージ

f:id:cookie-box:20200322115905p:plain:w480

証明

検定 $\delta$ の棄却域を $R_\delta$ とする。示すべきことは、任意に取ってきた有意水準 $\alpha$ の検定 $\delta'$ （棄却域 $R_{\delta'}$ ）に対して、以下が成り立つことである。

${\rm P}(X \in R_\delta \, | \, \theta = \theta_1) \geqq {\rm P}(X \in R_{\delta'} \, | \, \theta = \theta_1)$

ここで、任意の $\theta$ に対して以下が成り立つことから、

$\displaystyle {\rm P}(X \in R_\delta \, | \, \theta) = {\rm P}(X \in R_\delta \cap R_{\delta'} \, | \, \theta) + {\rm P}(X \in R_\delta \cap R_{\delta'}^C \, | \, \theta)$
$\displaystyle {\rm P}(X \in R_{\delta'} \, | \, \theta) = {\rm P}(X \in R_\delta \cap R_{\delta'} \, | \, \theta) + {\rm P}(X \in R_\delta^C \cap R_{\delta'} \, | \, \theta)$

示すべきことは以下のようにかきかえられる。

${\rm P}(X \in R_\delta \cap R_{\delta'}^C \, | \, \theta = \theta_1) \geqq {\rm P}(X \in R_\delta^C \cap R_{\delta'} \, | \, \theta = \theta_1)$

これは以下のように示される（離散型の場合は $\int$ を $\sum$ にする）。

$\displaystyle \begin{split} {\rm P}(X \in R_\delta \cap R_{\delta'}^C \, | \, \theta = \theta_1) &= \int_{R_\delta \cap R_{\delta'}^C} f(x;\theta_1) dx \\ &\geqq c \int_{R_\delta \cap R_{\delta'}^C} f(x;\theta_0) dx \\ &= c {\rm P}(X \in R_\delta \cap R_{\delta'}^C \, | \, \theta = \theta_0) \\&\geqq c {\rm P}(X \in R_\delta^C \cap R_{\delta'} \, | \, \theta = \theta_0) \\ &= c \int_{R_\delta^C \cap R_{\delta'}} f(x;\theta_0) dx \\ &\geqq \int_{R_\delta^C \cap R_{\delta'}} f(x;\theta_1) dx \\&= {\rm P}(X \in R_\delta^C \cap R_{\delta'} \, | \, \theta = \theta_1) \end{split}$

ここで、1行目→2行目、3行目→4行目、5行目→6行目の式変形には以下を用いる。

検定 $\delta$ の棄却域 $R_\delta$ は以下である。よって、この領域内では $f(x;\theta_1) \geqq c f(x;\theta_0)$ が成り立つ。
$\displaystyle R_\delta = \left\{ x \, \middle| \, \frac{f(x;\theta_1)}{f(x;\theta_0)} > c\right\} \cup \left\{ x \, \middle| \, \frac{f(x;\theta_1)}{f(x;\theta_0)} = c \, \land \, y < r \right\}$
有意水準 $\alpha$ の検定（つまり、第一種の誤りの確率が $\alpha$ 以下の検定） $\delta'$ を任意に取ってきて、その棄却域を $R_{\delta'}$ とすると、以下が成り立つ。
$\displaystyle \alpha = {\rm P}(X \in R_\delta \, | \, \theta = \theta_0) \geqq {\rm P}(X \in R_{\delta'} \, | \, \theta = \theta_0)$
よって、以下が成り立つ。
${\rm P}(X \in R_\delta \cap R_{\delta'}^C \, | \, \theta = \theta_0) \geqq {\rm P}(X \in R_\delta^C \cap R_{\delta'} \, | \, \theta = \theta_0)$
$R_\delta$ の外では $f(x;\theta_1) \leqq c f(x;\theta_0)$ が成り立つ。

カーリン-ルビンの定理

$X$ を確率変数（または確率変数ベクトル）、 $f(x;\theta)$ を $X$ の確率密度関数（ $X$ が離散型の場合は確率質量関数）、 $\theta$ を1次元のパラメータとする。また、任意の $\theta_1 < \theta_2$ について、尤度比 $f(x;\theta_2)/f(x;\theta_1)$ が、ある統計量 $T(x)$ と広義単調増加関数 $g(T(x); \theta_1, \theta_2)$ を用いて、 $\displaystyle \frac{f(x;\theta_2)}{f(x;\theta_1)} = g(T(x); \theta_1, \theta_2)$ とかけるとする（≡ $T(x)$ に関して単調尤度比をもつ）。このとき、帰無仮説が $\theta \leqq \theta_0$ であり対立仮説が $\theta > \theta_0$ である検定問題を考える。もし以下のような検定 $\delta$ の $\theta = \theta_0$ のときの棄却の確率が $\alpha$ であれば、この検定 $\delta$ は有意水準 $\alpha$ の検定の中で一様最強力検定である。

検定 $\delta$ ： $X$ の実現値 $x$ に対して、

$T(x)> c$ ならば、帰無仮説を棄却する。
$T(x) = c$ ならば、 $X$ とは独立に $(0,1)$ 区間の一様分布にしたがう確率変数 $Y$ の実現値 $y$ を生成して、

$y < r$ ならば、帰無仮説を棄却する。
$y \geqq r$ ならば、帰無仮説を棄却しない。

$T(x) < c$ ならば、帰無仮説を棄却しない。

証明

検定 $\delta$ の棄却域を $R_\delta$ とする。示すべきことは、一つは、 $\theta_{-1} < \theta_0$ である任意の $\theta_{-1}$ について以下が成り立つ（棄却の確率が $\alpha$ 以下である）ことである（そもそもこの検定 $\delta$ が有意水準 $\alpha$ の検定である）。

$\alpha = {\rm P}(X \in R_\delta \, | \, \theta_0) \geqq {\rm P}(X \in R_\delta \, | \, \theta_{-1}) \qquad \forall \theta_{-1} < \theta_0$

もう一つは、 $\theta_1 > \theta_0$ である任意の $\theta_1$ と任意に取ってきた有意水準 $\alpha$ の検定 $\delta'$ （棄却域 $R_{\delta'}$ ）について以下が成り立つことである（一様最強力検定である）。

${\rm P}(X \in R_\delta \, | \, \theta_1) \geqq {\rm P}(X \in R_{\delta'} \, | \, \theta_1) \qquad \forall \theta_1 > \theta_0$

ここで、 $\theta_{-1} < \theta_0$ である任意の $\theta_{-1}$ を一つとって、帰無仮説を $\theta=\theta_{-1}$ 、対立仮説を $\theta=\theta_0$ とし、検定 $\delta$ をする。 $g$ は広義単調増加関数なので、 $T(x)>c$ という条件は $g(T(x); \theta_{-1}, \theta_0) >g(c; \theta_{-1}, \theta_0) \equiv k$ にかきかえることができる。つまり、 $f(x;\theta_0)/f(x;\theta_{-1}) > k$ とかきかえることができる。よって、ネイマン-ピアソンの補題より、検定 $\delta$ は有意水準 ${\rm P}(X \in R_{\delta} \, | \, \theta_{-1}) \equiv \alpha_{-1}$ の最強力検定であり、その検出力は ${\rm P}(X \in R_{\delta} \, | \, \theta_0) = \alpha$ である。ところで、 $x$ の実現値にかかわらず確率 $\alpha_{-1}$ で帰無仮説を棄却する検定 $o$ も有意水準 $\alpha_{-1}$ の検定であり、その検出力は $\alpha_{-1}$ だが、検定 $\delta$ が有意水準 $\alpha_{-1}$ の最強力検定であることから、 $\alpha \geqq \alpha_{-1} \; \Leftrightarrow \; \alpha \geqq {\rm P}(X \in R_{\delta} \, | \, \theta_{-1})$ が成り立たなければならない。これは任意の $\theta_{-1} < \theta_0$ について成り立つ。

次に、 $\theta_1 > \theta_0$ である任意の $\theta_1$ を一つとって、帰無仮説を $\theta=\theta_0$ 、対立仮説を $\theta=\theta_1$ とし、検定 $\delta$ をする。上と同様に議論により、検定 $\delta$ は有意水準 ${\rm P}(X \in R_{\delta} \, | \, \theta_0) \equiv \alpha$ の最強力検定である。これは任意の $\theta_1 > \theta_0$ について成り立つ。ので、検定 $\delta$ は帰無仮説 $\theta=\theta_0$ 、対立仮説 $\theta > \theta_0$ に対する有意水準 $\alpha$ の一様最強力検定である。他方、帰無仮説を $\theta \leqq \theta_0$ にすることは有意水準に影響を及ぼさない（第一種の誤りの確率が大きくなることはない）。したがって結局、検定 $\delta$ は帰無仮説 $\theta \leqq \theta_0$ 、対立仮説 $\theta > \theta_0$ に対する有意水準 $\alpha$ の一様最強力検定である。

素朴には「帰無仮説が正しいならばまれなこと」が起きたときに帰無仮説を棄却しますが、いったいどこを囲んで「まれなこと」としてぬりつぶすべきかは本当は帰無仮説だけみつめていてもよくわかりません。渡辺ベイズ本の6章の章末にも「『りんごとXのどちらが好きですか？ Xはわかりません』という質問にあなたは答えられますか？」という問いがあった気がします。いま渡辺ベイズ本が手元にありません。

帰無仮説を棄却することで支持したい対立仮説があればもっとはっきりします。「1の出る目が1/6だという帰無仮説を立てる（内心、1の出る目がそれより高いと思っている）」というのだったら、サイコロをn回投げて1の目が出た回数が閾値より大きいことを「まれなこと」として、このときに帰無仮説を棄却すればいいです。閾値は、帰無仮説が正しいにもかかわらず帰無仮説を棄却してしまう確率がある値以下になるように決めます（この値を有意水準といい、よく 0.05 などにされます）。

しかし、こうしてつくった検定は、帰無仮説が正しいときに誤る確率が有意水準以下であることは保証されているものの、帰無仮説が正しくないときに帰無仮説をいい感じに棄却してくれるのかはわかりません。例えばあなたはうっかりしていて、帰無仮説を棄却することで1の出る目が1/6よりも大きいことを示したいのに、1の目が出た回数が閾値以下のときに帰無仮説を棄却するというとんちんかんな検定をつくってしまうかもしれません。こんな検定は有意水準が 0.05 であっても、あなたが思い描く対立仮説を検出する力はほとんど皆無です。

なのでネイマンさんとピアソンさんは、「『1の目の出る目が1/6』という帰無仮説と『1の出る目が1/3』という対立仮説を検定したいなら、後者÷前者の尤度比が閾値以上のときに棄却するのが同じ有意水準の検定の中では最強ですよ」といいました（いったかはわかりません）。これが最強なのは上の図から明らかです。もし有意水準が同じである他の検定があったとしても、棄却域の差の部分で絶対勝てるのです。こっちは尤度比が閾値以上かどうかで棄却域を囲っていますので。そもそも内心では後者なのではないかと疑っているときに、後者÷前者の尤度比を基準に棄却域をつくるべきなのは当然です。＃なお、「1の目が出た回数」が閾値より大きいかどうかで検定すると尤度比検定になっています。

また、尤度比がある統計量の広義単調増加関数になっていれば、「『1の目の出る目が1/6』という帰無仮説と『1の出る目が1/3』という対立仮説」から「『1の目の出る目が1/6以下』という帰無仮説と『1の出る目が1/6を超える』という対立仮説」に広げることができます。1/6 とそれより小さい任意の p との間、1/6 とそれより大きい任意の p との間にネイマン-ピアソンの補題がつかえるからです。