確率論セミナー(8)： 不参加メモ

勉強会 確率論

Skype数学勉強会 確率論セミナー の8回目に参加できなかったので1人補習 & 次回発表用の予習
読んでいる本： 確率論 (岩波基礎数学選書) | 伊藤 清 | 本 | Amazon.co.jp

前回：メモ7 ／ 次回：まだ
目次：確率論(岩波基礎数学選書)

今日読んだ範囲： 17～20ページ（第8回）& 20～25ページ（第9回予定）

  • 試行を直結合してつくった試行 \tilde{T}=T_1 \times T_2 の確率法則 \tilde{P} に要請されるのは i 射影 \pi_i により混合したとき試行 T_i の確率と一致することであるが、これでは \tilde{P} は一意に定まらない。
    なので、制約 \tilde{P}\bigl( \{(\omega_1, \omega_2)\} \bigr) = P_1\bigl( \{\omega_1\} \bigr) P_2\bigl( \{\omega_2\} \bigr)（乗法律）を公理として入れる。
  • 乗法律を入れないと定まらないのはわかったけど、乗法律を入れるってどういうことなの？
    • 式の形からは、「『試行Aと試行Bの直結合』を『独立な試行Aと試行Bをするという試行』と考える」と感じられるけど。
    • 情報量的には、平均情報量（エントロピー）が最大化になる \tilde{P} を選んだことになる（18～20ページ）。
      情報量 - Wikipedia
      • 「コインを投げたら表だった」の選択情報量： - log2(0.5) = 1
      • 「コインを投げる」の平均情報量： - 0.5*log2(0.5) - 0.5*log2(0.5) = 1
      • 「コインを投げる」と「コインを投げる」の直結合の平均情報量（乗法律を採用）：
        - 0.25*log2(0.25) - 0.25*log2(0.25) - 0.25*log2(0.25) - 0.25*log2(0.25) = 2
  • 中学や高校でやるような「2人が交互に、どちらかが表を出すまでコインを投げる」とか、「箱からカードを引いて、戻さずにまた引く」のような試行は、樹形結合という図式で考える。樹形結合は直結合と混合の組合せ。
    • このようなケースでは、最初の試行 T_0 の結果次第で次の試行がどんな試行になるか決まってしまうけど（トランプを入れた箱から続けて2枚引くということをするなら、2回目のカード引きは「ある1枚が欠けた箱から引く」という試行といえるけど、何か欠けるかは最初に引いた結果による）、なら次の試行としてありえる全パターン T_k 用意して直結合してしまって、適宜混合しちゃえ、という考え方（不必要な試行の結果は無視するような混合をすることになる）。
      • めっちゃ回りくどい…。

例題解くのはこれから…。


2016-03-06 追記　例題をちゃんとやる（ちゃんとやっていない）。

  • 「1～nまでの数字のカードが入った箱からカードを引いて、戻さずにまた引く」の、1枚目と2枚目のカードの数字 (X, Y) の共分散を考える。1枚目も2枚目も期待値は (n+1)/2 で、同じカードを引く確率は0なので、

    V(X, Y) \, =\displaystyle \sum_{(i, j)}(i-EX)(j-EY)P^{(X,Y)}\bigl(\{(i,j)\}\bigr)
    \qquad \qquad=\displaystyle \frac{1}{n(n-1)}\sum_{(i, j)}(i-EX)(j-EY) - \frac{1}{n(n-1)}\sum_{(i, j), \, i = j}(i-EX)(j-EY)
    \qquad \qquad=\displaystyle \frac{1}{n(n-1)}\sum_{(i, j)}\left(ij-\frac{n+1}{2}i-\frac{n+1}{2}j+\frac{(n+1)^2}{4}\right)
    \qquad \qquad \quad \displaystyle - \frac{1}{n(n-1)}\sum_{i}\left(i^2-(n+1)i+\frac{(n+1)^2}{4}\right)
    \qquad \qquad=\displaystyle \frac{1}{n(n-1)}\left(\frac{n(n+1)}{2}\cdot\frac{n(n+1)}{2}-(n+1)\cdot n\cdot\frac{n(n+1)}{2}+n^2\cdot\frac{(n+1)^2}{4}\right)
    \qquad \qquad \quad \displaystyle - \frac{1}{n(n-1)}\left(\frac{n(n+1)(2n+1)}{6}-(n+1)\cdot\frac{n(n+1)}{2}+n\cdot\frac{(n+1)^2}{4}\right)
    \qquad \qquad=\displaystyle \frac{1}{n(n-1)}\left(\frac{n(n+1)}{2}\cdot\frac{(3n+2)(n-1)}{6}-\frac{n(n+1)^2(n-1)}{2}+\frac{(n^2-n)(n+1)^2}{4}\right)
    \qquad \qquad=\displaystyle \frac{(n+1)}{2}\cdot\frac{(3n+2)}{6}-\frac{(n+1)^2}{2}+\frac{(n+1)^2}{4}=-\frac{n+1}{12}
    　
    • （もっと賢い導き方を教えてください。）
    • 思いのほかシンプルになった。1枚目と2枚目のカードは均せば期待値から逆方向にずれるのだろうから、負なのは理解できる。カードが2枚のときに合っているか確認すると、カードが2枚の時は、 \displaystyle\frac{1}{2}\left(1-\frac{3}{2}\right)\left(2-\frac{3}{2}\right)+\frac{1}{2}\left(2-\frac{3}{2}\right)\left(1-\frac{3}{2}\right)=-\frac{1}{4} だから合っている。たぶん。
  • 例題の2つ目は、もう疲れた…。
  • 例題の3つ目は、 \Omega=\{a_1, a_2, \cdots, a_n\} 上の確率測度でエントロピー最大のものは P\bigl(\{a_i\}\bigr) \equiv 1/n を示せ。
    • P\bigl(\{a_i\}\bigr)=p_i とおく。 H=-\sum p_i \log p_i になる。Lagrangeの未定乗数法をこれに適用する。
      \displaystyle L=H- \lambda \left(\sum_{i}p_i - 1\right) とおくと、 \displaystyle \frac{\partial L}{\partial p_i}= - \log p_i -1 - \lambda = 0 より \displaystyle p_i \equiv e^{-\lambda-1} なのでどの見本点を1つ含む集合もおこる確率は同じ。