以下のワーキングペーパーを読みます。
https://www.carf.e.u-tokyo.ac.jp/research/1313/
![f:id:cookie-box:20190101155733p:plain:w60 f:id:cookie-box:20190101155733p:plain:w60](https://cdn-ak.f.st-hatena.com/images/fotolife/c/cookie-box/20190101/20190101155733.png)
レヴィ過程と無限分解可能分布(安定分布を特別なケースとして含む)に対する、経験尤度法を用いた新しいパラメータ推定方法を提案したということですが…レヴィ過程と無限分解可能分布とは何でしょう? 最大経験尤度推定量は、経験特性関数に対する制約の数が多いとき一致性、漸近正規性、漸近有効性を満たすということですが…制約の数が問題なんですか…?
![f:id:cookie-box:20190101160814p:plain:w60 f:id:cookie-box:20190101160814p:plain:w60](https://cdn-ak.f.st-hatena.com/images/fotolife/c/cookie-box/20190101/20190101160814.png)
レヴィ過程と無限分解可能分布の解説まではこのペーパーにはかいてないかな? イントロにあるように Feller (1971), Zolotarev (1986), Sato (1999) を参照ってことみたいだね。たださすがに書籍だからなあ…3つ目は最初だけちょっとみたいな PDF は見つかるね。2つ目も一部抜粋っぽい PDF があるな。1つ目はちょいちょい PDF が落ちてるけど素性がわかんないなあ…どのみちかなり古いし…。
とりあえずウィキペディアにかいてあることをざっとまとめておくね。レヴィ過程っていうのは、- Lévy process - Wikipedia
- 添え字 0 でとる値はほとんど確実に 0。
- 真に増大する添え字列をとると、隣り合う添え字の値の差は互いに独立(独立増分性)。
- 異なる2つの添え字をとって、大きい添字の値から小さい添え字の値を引いた値は、添え字の差のみに依存する(定常増分性)。
- 任意の添え字
、任意の正数
について
(確率連続性)。
![f:id:cookie-box:20190101155733p:plain:w60 f:id:cookie-box:20190101155733p:plain:w60](https://cdn-ak.f.st-hatena.com/images/fotolife/c/cookie-box/20190101/20190101155733.png)
えっと…今回分布のパラメータ推定をするということなのでパラメトリックな表式で「レヴィ過程はこういう分布」「無限分解可能分布はこういう分布」というのを知りたかったのですが、その説明はだいぶ期待とちがいますね…話を整理するとこうでしょうか。
- レヴィ過程はほとんど確実にゼロからはじまり、時間を区切ったときの各区間の増分が独立で時間差のみに依存する、確率連続性をもつ確率過程である。
- レヴィ過程(もっというと加法過程)は添え字を止めると無限分解可能分布にしたがう。
- 無限分解可能分布の例に安定分布がある。
- 安定分布は一般に確率密度関数はかけない。特性関数のみがパラメトリックにかける。
![f:id:cookie-box:20190101160814p:plain:w60 f:id:cookie-box:20190101160814p:plain:w60](https://cdn-ak.f.st-hatena.com/images/fotolife/c/cookie-box/20190101/20190101160814.png)
そこはイントロの2段落目かな…経験分布のパーセンタイルや経験特性関数に基づいた手法が提案されているみたい。これらの詳細はこのイントロだけ読んでもわかんないな。
![f:id:cookie-box:20190101155733p:plain:w60 f:id:cookie-box:20190101155733p:plain:w60](https://cdn-ak.f.st-hatena.com/images/fotolife/c/cookie-box/20190101/20190101155733.png)
結局何もわかりませんね…続きに進むと、このペーパーでは経験尤度法に基づいたアプローチを提案するということですが、経験尤度法とは?
![f:id:cookie-box:20190101160814p:plain:w60 f:id:cookie-box:20190101160814p:plain:w60](https://cdn-ak.f.st-hatena.com/images/fotolife/c/cookie-box/20190101/20190101160814.png)
Owen (1988, 1990) によって提案され Qin and Lawless (1994) が拡張した手法らしい。
- http://www.ms.uky.edu/~mai/sta709/Owen1988.pdf
- Owen : Empirical Likelihood Ratio Confidence Regions
- Qin , Lawless : Empirical Likelihood and General Estimating Equations
![f:id:cookie-box:20190101155733p:plain:w60 f:id:cookie-box:20190101155733p:plain:w60](https://cdn-ak.f.st-hatena.com/images/fotolife/c/cookie-box/20190101/20190101155733.png)
とにかく2節に進みますか。安定分布の経験尤度推定ということですが… は独立に同一の安定分布にしたがう確率変数ということですね。それで、
の特性関数を
とすると以下が成り立つということです。成り立つというか、どちらかというとこれが安定分布の定義ですかね。
![f:id:cookie-box:20190101160814p:plain:w60 f:id:cookie-box:20190101160814p:plain:w60](https://cdn-ak.f.st-hatena.com/images/fotolife/c/cookie-box/20190101/20190101160814.png)
モーメントは一致性をもつからモーメントを通じてパラメータを探索できるってことなのかな…? コーシー分布は平均、分散、歪度、尖度が未定義だね。
![f:id:cookie-box:20190101155733p:plain:w60 f:id:cookie-box:20190101155733p:plain:w60](https://cdn-ak.f.st-hatena.com/images/fotolife/c/cookie-box/20190101/20190101155733.png)
それで経験尤度法を導入するわけですが、まず、 なる経験尤度関数を定義します。
の制約は
と
のみということです。これで単に
を最大化するならば任意の
に対して
ということでそれはそうですが…解釈しづらいですね。例えばコインを100回投げたとして、それぞれに 0.01 という確率を割り振って何が楽しいのか…それぞれの結果は同等に起こりやすかったのだということになりますが…。
![f:id:cookie-box:20190101160814p:plain:w60 f:id:cookie-box:20190101160814p:plain:w60](https://cdn-ak.f.st-hatena.com/images/fotolife/c/cookie-box/20190101/20190101160814.png)
読み進めていこうか。経験尤度比関数を と定義するらしい。これは最適な
からの比にしているようにみえるね。それで最大経験尤度推定量
は、
を以下の制約下で最大化したものだって。この
が経験特性関数の制約の数らしい。
と
は
点の
で評価した経験特性関数の実部と虚部だって。
![f:id:cookie-box:20190101155733p:plain:w60 f:id:cookie-box:20190101155733p:plain:w60](https://cdn-ak.f.st-hatena.com/images/fotolife/c/cookie-box/20190101/20190101155733.png)
経験特性関数? 特性関数は ですよね? とするとその経験特性関数はこの期待値
を分布
上での期待値で代えたものであって、ある点
で評価したものですね? そしてどの点
でも真の特性関数とのずれの
上での期待値がゼロになるようにする…?
が都合の悪い点だったら
とすることもできてしまいそうですね…?
![f:id:cookie-box:20190101160814p:plain:w60 f:id:cookie-box:20190101160814p:plain:w60](https://cdn-ak.f.st-hatena.com/images/fotolife/c/cookie-box/20190101/20190101160814.png)
![f:id:cookie-box:20190101155733p:plain:w60 f:id:cookie-box:20190101155733p:plain:w60](https://cdn-ak.f.st-hatena.com/images/fotolife/c/cookie-box/20190101/20190101155733.png)
え、えっと? いま が最適化の対象で、
はすぐわかって、
は
と
の関数でかけて、さらに
も
によって決まるんですね?
![f:id:cookie-box:20190101160814p:plain:w60 f:id:cookie-box:20190101160814p:plain:w60](https://cdn-ak.f.st-hatena.com/images/fotolife/c/cookie-box/20190101/20190101160814.png)
うん、ある に対してペーパーの (2.6) 式によって
が決まるね。さらにこの (2.6) 式自体を一番大きくする
が最適な
だね。この最適化は通常2段階でやるらしいね。以下の書籍をみてって。
![f:id:cookie-box:20190101155733p:plain:w60 f:id:cookie-box:20190101155733p:plain:w60](https://cdn-ak.f.st-hatena.com/images/fotolife/c/cookie-box/20190101/20190101155733.png)
最後ぶん投げましたね…。 最尤法と経験尤度法をざっくり対比すると、
- 最尤法では尤度を最大化するようなパラメータを求める。あるパラメータでの各データの尤度はパラメトリックなモデルにそのパラメータを当てはめればわかる。
- 経験尤度法では「経験尤度」を最大化するようなパラメータを求める。あるパラメータでのデータ
の尤度
は、経験特性関数と真の特性関数との点
でのずれの
上での期待値がゼロになるように割り当てる。
![f:id:cookie-box:20190101160814p:plain:w60 f:id:cookie-box:20190101160814p:plain:w60](https://cdn-ak.f.st-hatena.com/images/fotolife/c/cookie-box/20190101/20190101160814.png)
後で議論されるのかな?