以下の本を読みます。キャラクターは架空のものです。解釈の誤りは筆者に帰属します。おかしい点がありましたらコメント等でご指摘いただけますと幸いです。
- 作者: 渡辺澄夫
- 出版社/メーカー: コロナ社
- 発売日: 2012/03/01
- メディア: 単行本
- 購入: 1人 クリック: 4回
- この商品を含むブログ (8件) を見る
前回(ノート3)で読んだ 30~40 ページをまとめるとこうですね。
- が で実現可能 は相対的に有限な分散をもつ
- が で実現可能 は相対的に有限な分散をもつ
- が相対的に有限な分散をもつ に対して最適な は実質的にユニーク
それただの補題 4 じゃん…。
41ページに進むと、最適な確率分布 が実質的にユニークな場合に限って考えれば、あらゆるパラメータにおける確率モデルを画一的に とかくことができるということです。あらゆる における は を定数 だけシフトしたものになると。それはそうですね。また、あるパラメータにおける平均対数損失 の、最適なパラメータにおける との誤差は、 より の真の分布に対する平均に等しくなりますが、これが平均誤差 と名付けられていますね。「損失」やら「誤差」やら「平均」やら「汎化」やら色々な言葉が出てきて、何がなにやらといった感じですが…。
「損失」というのは専ら「負の対数尤度」に用いられていると思う。この損失が小さくなるパラメータを探せというもので、「いまのパラメータのよさ」ともいえる。確率モデルに対する損失で真の分布に対する平均なら「平均対数損失」、経験分布に対する損失なら「経験対数損失」だね。他方、予測モデルに対する損失は「ベイズ推測という枠組み自体のよさ」で、「汎化損失」「経験損失」で測られるけど、「平均対数汎化損失」「経験対数汎化損失」という方が丁寧かもね。誤差は「損失を最小にする最適なパラメータとの対数(汎化)損失の差」だね。自由エネルギーのふるまいを知るのに平均対数損失じゃなく平均誤差を主役にした「正規化された自由エネルギー」で議論するみたい。最適なパラメータにおける自由エネルギーを原点にとるんだね。
では自由エネルギーは何だったのかというと、確率モデルの下でのサンプルの選択情報量のような量ですが、逆温度にもより、逆温度が正の無限大の極限で確率モデルの負の対数尤度になるのでしたっけ。それで44ページで、実数 に対して汎化損失と経験損失のキュムラント母関数というのが定義されていますね。
ゴールは47ページの定理1だね。
なんと、汎化損失と経験損失はキュムラントを用いてこのようにかけるのですか…だから何なのでしょう?
汎化損失を以下の要素と残差の和に展開できたんだから、
- 最適なパラメータにおける平均対数損失。
- 平均誤差の事後分布による期待値。
- 対数尤度比の2乗の事後分布による期待値から対数尤度比の事後分布による期待値の2乗を引いたものの真の分布の期待値。