2022-08-09

雑記

お気付きの点がありましたらご指摘いただけますと幸いです。

宮川雅巳. 統計的因果推論―回帰分析の新しい枠組み (シリーズ・予測と発見の科学). 朝倉書店. 2004.

雑記 - クッキーの日記（前回）

💜

f:id:cookie-box:20211229165400p:plain:w70

前回は M 字型の非巡回的有向独立グラフに定理 4.4 と定理 4.5 を適用しましたが、W 字型も同じ要領ですね。
しかし、「｛あんパン｝を与えた下で小麦と寒天は独立か？」という問題を考えると、定理 4.5 を用いればただちに独立であることをいえますが、定理 4.4 は適用できないですよね……モラルグラフが連結グラフではなくなってしまうと思います。寒天が離れ小島になってしまうので。このとき、「｛あんパン｝は小麦と寒天を分離している」とはいわないですよね。そもそも島が離れているとこの本の「分離」の定義を適用できないと思います。まあ定理 4.4 が適用できないと感じたら定理 4.5 を適用すればよいので問題はありませんが。
70ページには「忠実」という概念が登場しますが下線が引いている文章は何をいっているのかややこしいですね……しかし、その直後に「忠実でない」具体例が説明されていますね。つまり、図 4.5 の非巡回的有向独立グラフをみると、明らかに $X_2$ と $X_3$ は独立ではないです。しかし、構造方程式の係数が奇跡のコラボレーションをすると独立になってしまうと。このようなとき、 $(X_1, X_2, X_3)$ の同時分布は非巡回的有向独立グラフに忠実ではないと。確かに忠実でないようなときは厄介なので考えたくないですね。なので忠実であると仮定してしまうと。そうすると定理 4.5 の前件が条件付独立性の十分条件から必要十分条件になりますね。
71ページには「観察的に同値」という概念も登場し、これは独立性・条件付独立性の観点でこのグラフとあのグラフが区別できない、ということですが……統計的因果探索の本では、ノイズが非ガウスのときは変数間の因果の向きが識別できるといっていましたよね。しかしここでは「ノイズが非ガウスであったらどちらのグラフか特定できるか」などといった検査はせず、「成り立つすべての独立性と条件付独立性を与えたときどちらのグラフか特定できるか」という検査をするのみなので、「特定できない」という事態になってきますね。

2022-08-08

雑記

お気付きの点がありましたらご指摘いただけますと幸いです。

https://files.core.ac.uk/pdf/2612/81864331.pdf

自由度 $n$ （ここでは $n = 1, 2, \cdots$ とする）の $t$ 分布の確率密度関数は以下である。任意の $n= 1, 2, \cdots$ についてこれを上から抑える可積分関数 $F(t)$ を考える。 $\displaystyle f_n(t) = \frac{\Gamma \bigl( (n + 1) / 2 \bigr)}{\sqrt{n \pi} \Gamma (n / 2)} \left( 1 + \frac{t^2}{n} \right)^{-(n + 1)/2} \equiv C_n \tilde{f}_n(t)$
まず、Gurland’s double inequality [1] より、任意の $n$ について以下の式が成り立つ。したがって、任意の $n$ について $C_n < 1$ が成り立つ。 $\displaystyle n \pi {C_n}^2 < \frac{n^2}{2n + 1}$
また、 $\tilde{f}_n(t)$ は以下より $\exp(-t^2/2)$ に収束するのであった。なお、この波括弧の中身は $n/t^2$ について単調増加である（証明略）。 $\displaystyle \tilde{f}_n(t) = \left( 1 + \frac{t^2}{n} \right)^{-(n + 1)/2} = \left( 1 + \frac{1}{n / t^2} \right)^{-1/2} \left\{ \left( 1 + \frac{1}{n / t^2} \right)^{n/t^2} \right\}^{-t^2/2} \xrightarrow[n \to \infty]{} \exp \left( - \frac{t^2}{2} \right)$ よって、 $|t| > 1$ のとき、任意の $n$ について $\tilde{f}_n(t) < 2^{-t^2/2}$ である。
他方、 $|t| \leqq 1$ のとき、 $\tilde{f}_n(t)$ は $t=0$ で最大値をとるので $\tilde{f}_n(t) \leqq 1$ である。

よって、以下の $F(t)$ は任意の $n$ について $f_n(t)$ を上から抑える。

$F(t) = \left\{ \begin{array}{ll}1 & (|t| \leqq 1)\\ 2^{-t^2/2} & (|t| > 1) \end{array} \right.$

また、 $\tilde{\tilde{f}}(t) = 2^{-t^2/2}$ は $(-\infty, \infty)$ で積分すると $\sqrt{2 \pi / \log 2}$ である。
よって $F(t)$ は可積分である。

2022-08-07

雑記

お気付きの点がありましたらご指摘いただけますと幸いです。

[1] の章末問題をやります。《要証明》の箇所は時間がなくかけていません。

2.1　 $X_n$ が自由度 $n$ の t 分布にしたがうとき、 $X_n \rightsquigarrow N(0, 1)$ であることを示せ。

$X_n$ が自由度 $n$ の t 分布にしたがうので、 $\displaystyle P(X_n \leqq x) = \int_{-\infty}^{x} \frac{\Gamma \bigl( (n + 1) / 2 \bigr)}{\sqrt{n \pi} \Gamma (n / 2)} \left( 1 + \frac{t^2}{n} \right)^{-(n + 1)/2} dt$ である（ t 分布の確率密度関数にはガンマ関数の比があらわれる）。

【解1】
[2] の Ben 氏の Answer によるとそもそもガンマ関数の比の漸近的ふるまいが [3] の Tricomi and Erdélyi, 1951 によって明らかにされており、以下となる。

$\displaystyle \frac{\Gamma(z + \alpha)}{\Gamma(z + \beta)} = z^{\alpha - \beta} \left[ 1 + \frac{(\alpha - \beta)(\alpha + \beta - 1)}{2z} + \mathcal{O}(|z|^{-2})\right]$ したがって、t 分布の確率密度関数のうちガンマ関数の比になっている部分のみの漸近的ふるまいは、 $\displaystyle \frac{\Gamma \bigl( (n + 1) / 2 \bigr)}{\sqrt{n \pi} \Gamma (n / 2)} = \frac{1}{\sqrt{2 \pi}} \left[ 1 - \frac{1}{4n} + \mathcal{O}(n^{-2})\right]$ となり $n \to \infty$ で $1/\sqrt{2 \pi}$ に収束する。他方、確率密度関数の残りの部分も収束するので（高校で習った）、合わせると結局以下となり、右辺は標準正規分布の確率密度関数である。 $\displaystyle \frac{\Gamma \bigl( (n + 1) / 2 \bigr)}{\sqrt{n \pi} \Gamma (n / 2)} \left( 1 + \frac{t^2}{n} \right)^{-(n + 1)/2} \xrightarrow[n \to \infty]{} \frac{1}{\sqrt{2 \pi}} \exp \left( - \frac{t^2}{2} \right)$ ここで、優収束定理を用いるために、任意の自由度 $n$ の t 分布の確率密度関数がある可積分関数 $F$ で上から抑えられることを示す（証明はこちら）。よって、 $\displaystyle \begin{split} P(X_n \leqq x) &= \int_{-\infty}^{x} \frac{\Gamma \bigl( (n + 1) / 2 \bigr)}{\sqrt{n \pi} \Gamma (n / 2)} \left( 1 + \frac{t^2}{n} \right)^{-(n + 1)/2} dt \\ &\xrightarrow[n \to \infty]{} \int_{-\infty}^{x} \frac{1}{\sqrt{2 \pi}} \exp \left( - \frac{t^2}{2} \right) dt \\ &= P(X \leqq x) \end{split}$ より、 $X_1, X_2, \cdots$ は標準正規分布にしたがう確率変数 $X$ に分布収束する。ただし、1行目から2行目で極限と積分を交換するのに優収束定理を用いた。

【解2】
この問では漸近的ふるまいに興味はないので分布収束先の分布を知るには [3] のスターリングの公式を用いればじゅうぶんである《要証明》。

$\displaystyle \Gamma(z) = \sqrt{\frac{2 \pi}{z}} \left( \frac{z}{e} \right)^z \left( 1 + \mathcal{O}\left(\frac{1}{z}\right) \right)$

2.2　先の問からただちに「任意の $p \in \mathbb{N}$ について ${\rm E}X_n^p \to {\rm E}N(0, 1)^p$ である」といえるか。

ただちにはいえない。先ほどはルベーグの優収束定理を用いて極限と積分を交換できたが今回は先ほどと同じ要領で交換することはできない。 $\displaystyle {\rm E}X_n^p = \int_{-\infty}^{\infty} \frac{\Gamma \bigl( (n + 1) / 2 \bigr)}{\sqrt{n \pi} \Gamma (n / 2)} \left( 1 + \frac{t^2}{n} \right)^{-(n + 1)/2} \, t^p dt$ $\displaystyle {\rm E}N(0, 1)^p = \int_{-\infty}^{\infty} \frac{1}{\sqrt{2 \pi}} \exp \left( - \frac{t^2}{2} \right) \, t^p dt$

2.3　 $X_n \rightsquigarrow N(0, 1)$ かつ $Y_n \xrightarrow{\rm P} \sigma$ であるとき、 $X_n Y_n \rightsquigarrow N(0, \sigma^2)$ であることを示せ。

《要証明》

2022-08-06

雑記

お気付きの点がありましたらご指摘いただけますと幸いです。

宮川雅巳. 統計的因果推論―回帰分析の新しい枠組み (シリーズ・予測と発見の科学). 朝倉書店. 2004.

💜

下図の非巡回的有向独立グラフでいずれかの変数を固定したときにうどんとようかんが独立になるかを判定するには、定理 4.4 を用いてもよいし、定理 4.5 を用いてもよいとのことです。定理 4.4 を用いるなら上段、定理 4.5 を用いるなら下段になります。
定理 4.4 の証明は本にありますが、定理 4.5 の証明は難しいのですか。等価な定理であるのに片方が難しいのですね。しかし、上図の下段をみると、｛あんパン｝のみを与えた場合は、うどんからたどってもようかんからたどっても与えたものに突き当たったとき「そこに入っていく矢印」になりますよね。しかし、｛小麦，あんパン｝を与えた場合はうどんからたどったときの突き当たりは「そこから出てくる矢印」になります。突き当たりが「そこから出てくる矢印」であれば、向こう岸と独立なのは明白ではないでしょうか。

2022-08-05

雑記

2022-08-06 追記しました。
お気付きの点がありましたらご指摘いただけますと幸いです。

Amazon | Asymptotic Statistics (Cambridge Series in Statistical and Probabilistic Mathematics, Series Number 3) | van der Vaart, A. W. | Applied

💜

[1] がどんな本なのか把握するためにまえがきにある依存関係に各章のタイトルの和訳を付けてみましょう……このような和訳でよいのでしょうか。6 章の Contiguity は 2 つの測度の列の関係を表す概念のようですが、対応する日本語があるのかわかりませんでした。無理やり和訳すれば「隣接性」でしょうが、87 ページの contiguity の定義のすぐ下に「隣り合っているというイメージは正しくない」とあるのでこう呼ぶのは躊躇してしまいますね。ではなぜ contiguity と名付けたのでしょうか……。

イントロダクションを読んでいくと、統計的検定を行うには帰無仮説の下で検定統計量がどう分布するか知る必要があると。それはそうでしょう。そしてその分布はしばしば正確には得られず近似的にしか得られないと……うーん、よく2×2分割表に対して実施するカイ2乗検定は、検定統計量の分布がカイ2乗分布で近似できることに基づいていましたよね。正確な棄却域を得るには、ありうる分割表をすべて計算して得なければならなかったと思います（フィッシャーの正確確率検定）。検定統計量の分布が近似的にしか得られないのは、このように解析的に扱えないからという理由の場合と、そもそもの統計モデルを近似的なものとして考えているという場合があるようですね。
そしてこの本において $n$ は常に無限大に近づくインデックスであると。覚えておかねば。そのうち忘れて $n$ って何だろうとか言い出しそうですね……。