Time Series Analysis：ノート10章弱定常ベクトル過程（その2）

以下の本の10章を読みます。私の誤りは私に帰属します。お気付きの点がありましたらご指摘いただけますと幸いです。

Time Series Analysis

作者:Hamilton, James D.
発売日: 1994/01/11
メディア: ハードカバー

その他の参考文献

経済・ファイナンスデータの計量時系列分析 (統計ライブラリー) | 竜義, 沖本 |本 | 通販 | Amazon

関連記事

f:id:cookie-box:20190101155733p:plain:w60

結局前回は以下のことしかやっていませんね…。

p 次ベクトル自己回帰過程 VAR(p) を導入してその定常条件を確認した。
定常 VAR(p) は Vector MA(∞) にかき直せる。
一般に定常ベクトル過程の自己共分散行列 $\Gamma_{\nu} = E \bigl[ ({y}_t - \mu)({y}_{t - \nu} - \mu)^\top \bigr]$ は $\Gamma_\nu^\top = \Gamma_{-\nu}$ となる。

では、次は VAR(p) の自己共分散行列 $\Gamma_\nu$ が具体的にどうなるかみていくのでしょうか？

f:id:cookie-box:20190101160814p:plain:w60

いいや、ここで改めて q 次ベクトル移動平均過程 Vector MA(q) $y_t = \mu + \varepsilon_{t} + \Psi_1 \varepsilon_{t-1} + \cdots + \Psi_q \varepsilon_{t-q}$ を導入しているね。その自己共分散行列をみている。

え、ここで Vector MA(q) を導入するんですか？既に前回 Vector MA(∞) がフライングで出てきていましたが…まあいいです、試しに Vector MA(2) の自己共分散行列を計算してみましょう。

$\begin{split} \Gamma_{\nu} &= E \bigl[ ({y}_t - \mu)({y}_{t - \nu} - \mu)^\top \bigr] \\&= E \bigl[ ( \varepsilon_{t} + \Psi_1 \varepsilon_{t-1} + \Psi_2 \varepsilon_{t-2} )(\varepsilon_{t- \nu} + \Psi_1 \varepsilon_{t- \nu-1} + \Psi_2 \varepsilon_{t- \nu-2} )^\top \bigr] \\&= E \bigl[ ( \varepsilon_{t} + \Psi_1 \varepsilon_{t-1} + \Psi_2 \varepsilon_{t-2} )(\varepsilon_{t- \nu}^\top + \varepsilon_{t- \nu-1}^\top \Psi_1^\top + \varepsilon_{t- \nu-2}^\top \Psi_2^\top ) \bigr] \end{split}$ これは…ベクトルホワイトノイズ $\varepsilon_t$ は時刻の添字が一致するときに限り共分散が零行列でない $\Omega$ となりますから…結局以下になりますね。 $|\nu| > 2$ では $\Gamma_\nu = 0$ です。 $\begin{split} \Gamma_{-2} &= \Omega \Psi_2^\top \\ \Gamma_{-1} &= \Omega \Psi_1^\top + \Psi_1 \Omega\Psi_2^\top \\ \Gamma_0 \, \, &= \Omega \quad \, \,+ \Psi_1 \Omega\Psi_1^\top + \Psi_2 \Omega\Psi_2^\top \\ \Gamma_1 \, \, &= \quad \, \, \qquad \Psi_1 \Omega \quad \, \, + \Psi_2 \Omega\Psi_1^\top \\ \Gamma_2 \, \, &= \quad \, \, \qquad \qquad \qquad \; \; \Psi_2 \Omega \end{split}$ $\Gamma_\nu$ は $\nu$ ステップ昔の自分との共分散でした。Vector MA(2) は現在のノイズ、1ステップ昔のノイズ、2ステップ昔のノイズからなります。 $\Gamma_2 = \Psi_2 \Omega$ は、「現在の自分の2ステップ昔のノイズが、2ステップ昔の自分の現在のノイズと相関する項」ですね。 $\Gamma_{-2} = \Omega \Psi_2^\top$ は、「現在の自分の現在のノイズが、2ステップ未来の自分の2ステップ昔のノイズと相関する項」です。そして3ステップ以上ずれた自分とは相関がなくなります。

まあそうなるよね。じゃあ Vector MA(∞) の自己共分散行列はどうなる？ただし係数行列 $\Psi_{\nu}$ は絶対総和可能とするよ（前回明示的に「成分ごとに絶対総和可能」とかいたけど、以降テキストの表記にならって「成分ごとに」を省くよ）。ちなみに単変量の MA(∞) は係数が絶対総和可能であるという条件の下で定常過程だったね（52ページ）。

Vector MA(∞) とはいきなり次数が増えましたね…そうなると何ステップずれても相関はありますよね…。まあ順に考えると、

0次の自己共分散行列は $\Gamma_0 = \Omega + \sum_{\nu' = 1}^{\infty} \Psi_{\nu'} \Omega\Psi_{\nu'}^\top$ になりますね。
1次の自己共分散行列は $\Gamma_1 = \Psi_1 \Omega + \sum_{\nu' = 1}^{\infty} \Psi_{\nu' + 1} \Omega\Psi_{\nu'}^\top$ になります。
2次の自己共分散行列も $\Gamma_2 = \Psi_2 \Omega + \sum_{\nu' = 1}^{\infty} \Psi_{\nu' + 2} \Omega\Psi_{\nu'}^\top$ になります。
では、-1次であったら $\Gamma_{-1} = \Omega \Psi_1 + \sum_{\nu' = 1}^{\infty} \Psi_{\nu'} \Omega\Psi_{\nu' + 1}^\top$ になります。
-2次であったら $\Gamma_{-2} = \Omega \Psi_2 + \sum_{\nu' = 1}^{\infty} \Psi_{\nu'} \Omega\Psi_{\nu' + 2}^\top$ になります。

…このようになるはずですが、これらの自己共分散行列は値をもつのでしょうか？係数行列 $\Psi_{\nu}$ が絶対総和可能であるといっても、ただちにこれらが有限の値をもつことにはなりませんよね？もし発散してしまったら Vector MA(∞) は定常過程にならないのでは？

$\Gamma_s$ は有限の値をもつよ。もっというと絶対総和可能になる。証明は Appendix にあるけど、いきなり $\Gamma_s$ の $i, j$ 成分 $\gamma_{i,j}^{(s)}$ が有限であることを考えるのはややこしいから、まず以下の2つの積の期待値を考えよう。あ、以下 $\Psi_0 \equiv I_n$ とするよ（部長がかき下した自己共分散行列もこう定義すればもっとすっきりする）。

$z_t(i,l) = \sum_{\nu= 0}^{\infty} \psi_{i, l}^{(\nu)} \varepsilon_{t-\nu, l}$ ： $y_t$ の第 $i$ 成分の、ノイズの第 $l$ 成分に依存する項。
$z_{t-s}(j,m) = \sum_{\nu= 0}^{\infty} \psi_{j, m}^{(\nu)} \varepsilon_{t-s-\nu, m}$ ： $y_{t-s}$ の第 $j$ 成分の、ノイズの第 $m$ 成分に依存する項。

これらの積の期待値をつかって自己共分散行列の成分が $\gamma_{i,j}^{(s)} = \sum_{l=1}^n \sum_{m=1}^n E\Bigl[ z_t(i,l)z_{t-s}(j,m) \Bigr]$ とかけるからこれが絶対総和可能であることを示そう。

それらの積の期待値ですか…やはりベクトルホワイトノイズの定義から異なるステップのノイズの成分どうしの積の期待値は0ですから、 $\sum_{\nu= 0}^{\infty} \psi_{i, l}^{(\nu + s)} \psi_{j, m}^{(\nu)} \omega_{l, m}$ でしょうか。ベクトルホワイトノイズの自己共分散行列 $\Omega$ の成分を $\omega_{l, m}$ としました。これが絶対総和可能かといわれると、 $\sum_{s= 0}^{\infty} \sum_{\nu= 0}^{\infty} | \psi_{i, l}^{(\nu + s)} \psi_{j, m}^{(\nu)} \omega_{l, m} |$ $\leqq |\omega_{l, m}| \sum_{\nu= 0}^{\infty} \sum_{s= 0}^{\infty} |\psi_{i, l}^{(\nu + s)}| |\psi_{j, m}^{(\nu)} | < \infty$ より絶対総和可能ですね…であれば各項は有限です…では、Vector MA(∞) は係数行列が絶対総和可能であるという条件の下で定常（ $t$ に依存せず $s$ のみに依存する有限の自己共分散行列をもつ）というわけですか。

ちなみに同じ要領で、もしベクトルホワイトノイズが有限な4次モーメントをもつなら、係数行列が絶対総和可能な Vector MA(∞) の4次モーメントも有限であるといえる（命題 10.2 の (c)）。これは $y_{i,t} y_{j,t-s} - E(y_{i,t} y_{j,t-s})$ が一様可積分といっていることに他ならない（命題 7.7 の (a)）。というわけで、193ページの議論と同様に、2次モーメントがエルゴード的であることがいえる（命題 10.2 の (d)）。

な、なるほど…？いやに Vector MA(∞) の性質を掘り下げますね…今後 Vector MA(∞) をそんなに使っていくんですか？項数が無限にあったら使いづらいと思うんですが…。

思い出してよ、定常 VAR(p) は Vector MA(∞) にかき直せたでしょ？だからこれらは定常 VAR(p) の性質に他ならないよ。そして、ここで2次モーメントのエルゴード性が確認できたことは定常 VAR(p) の標本から色々な推定や検定をすることの土台になる。

あっ…いやでも、それをいうには定常 VAR(p) が「係数行列が絶対総和可能な」Vector MA(∞) にかき直せることを示さなければ。

示せるよ。前回 VAR(p) の定常条件を示すのに、1次の差分方程式 $\xi_t = F \xi_{t-1} + v_t$ に持ち込んで $F$ を対角化 $F=T \Lambda T^{-1}$ したけど、VAR(p) の Vector MA(∞) 表現における係数行列はこの $F$ の $\nu$ 乗の左上 $n \times n$ ブロックだったでしょ？ $F^\nu =T \Lambda^\nu T^{-1}$ の任意の成分は263ページの一番下の式の形にかけるから（テキストでは $\nu$ じゃなく $s$ になっているけど）、これの $s=1, 2, \cdots$ についての和は収束するよね。

確かに。VAR(p) の定常条件は「どこかの時刻で発生したぶれが爆発しないでゼロに収束してほしい」といったものでしたが、それは「Vector MA(∞) 表現における係数行列が絶対総和可能であってほしい」と同じであったというわけですか…過程の爆発を防ぐために、VAR(p) はある時刻のノイズを再帰してしまうのでその拡大率を1未満にする必要があり、Vector MA(∞) はある時刻のノイズを再帰はしないが過去すべての時刻のノイズを取り込むので係数行列を絶対総和可能にする必要があると…。

10.2 節の続きには、 $n$ 変量 Vector MA(∞) を変換して $r$ 変量両側（？）Vector MA(∞) をつくれるというような話があるね。後でどう使うのかわからないけど。それでやっと VAR(p) の自己共分散の話になる。さて、どうやって求めればいいだろう？

どうやってって…そもそも単変量の AR(p) のときはどうしましたっけ。あ、AR(1) の場合は以下の記事で求めていました。

Time Series Analysis：ノート5章最尤推定（その1） - クッキーの日記

定義式 $Y_t = c + \phi Y_{t-1} + \varepsilon_t$ の両辺の分散を取るだけですね。過程が定常である以上 $V(Y_t) = V(Y_{t-1})$ ですから、これについて解けばいいわけです。であれば、VAR(p) の自己共分散も同様に出せるのではないでしょうか？

まあその方向でいいんだけどね。まず 0 次の自己共分散行列がどうなるか具体的にやってみよう。項が p 個あると面倒だから式 (10.1.11) の1次の差分方程式形 $\xi_t = F \xi_{t-1} + v_t$ でやってみよう。これの共分散 $E(\xi_t \xi_t^\top)$ を取るとどうなるだろう？

簡単です。 $E(\xi_t \xi_t^\top) = E \bigl( (F \xi_{t-1} + v_t) (F \xi_{t-1} + v_t)^\top \bigr)$ なので、 $E(\xi_t \xi_t^\top) = F E(\xi_t \xi_t^\top) F^\top + E(v_t v_t^\top)$ と整理して、 $E(\xi_t \xi_t^\top)$ について解けば…あれ、陽に解けない？右から $F^{-1}$ をかけても左から $(F^\top)^{-1}$ をかけても $E(\xi_t \xi_t^\top)$ という行列をかきあらわせませんね…。

うん、そこで vec 演算子を導入しよう。行列を列ごとにばらして1本の縦ベクトルにつなぐ演算子だ。以下の記事（下から3つ目のセリフ）でも行列の微分の定義に利用したよね（以下の記事でもかいているように沖本本の vech 作用素とも似ているけどあちらは対称行列専用なので少し違うよ）。

雑記：積の微分公式の話 - クッキーの日記

この vec 演算子とクロネッカー積（定義はテキスト 732～733 ページをみよう）について成り立つ公式 ${\rm vec}(ABC)= (C^\top \otimes A){\rm vec}(B)$ を用いれば―。

${\rm vec} \bigl(E(\xi_t \xi_t^\top)\bigr) = (I_{(np)^2} - F \otimes F)^{-1} {\rm vec} \bigl( E(v_t v_t^\top) \bigr)$ となるわけですか。 $I_{(np)^2} - F \otimes F$ が正則でないと困りますが、定常 VAR(p) であれば必ず正則になるんですね…証明は面倒なのでしませんが。

では 1 次の自己共分散行列はというと、 $E(\xi_t \xi_{t-1}^\top) = E \bigl( (F \xi_{t-1} + v_t) \xi_{t-1}^\top \bigr) = F E(\xi_{t} \xi_{t}^\top)$ ですから、0 次の自己共分散行列に左から $F$ をかけるだけですか。

ここまで扱ったことをまとめておきましょう。

p 次ベクトル自己回帰過程 VAR(p) は $y_t = c + \Phi_1 y_{t-1} + \cdots + \Phi_p y_{t-p} +\varepsilon_{t}$ と定義される。

係数行列の成分 $\phi_{i,j}^{(\nu)}$ の意味は「 $y_t$ の第 $i$ 成分が $\nu$ ステップ前の自身の第 $j$ 成分にどれだけ依存するか」といえる。
係数行列が定めるある方程式の解がすべて単位円の内側にあるとき VAR(p) は定常であり、定常 VAR(p) は Vector MA(∞) にかき直すことができ、その係数行列は絶対総和可能になる。

q 次ベクトル移動平均過程 Vector MA(q) は $y_t = \mu + \varepsilon_{t} + \Psi_1 \varepsilon_{t-1} + \cdots + \Psi_q \varepsilon_{t-q}$ と定義される。

係数行列の成分 $\psi_{i,j}^{(\nu)}$ の意味は「 $y_t$ の第 $i$ 成分が $\nu$ ステップ前のノイズの第 $j$ 成分にどれだけ依存するか」といえる。
Vector MA(∞) は係数行列が絶対総和可能であるという条件の下で定常であり、その自己共分散行列も絶対総和可能になる。

さらに、ベクトルホワイトノイズが有限な4次モーメントをもつならば Vector MA(∞) の2次モーメントはエルゴード的である。

つづいたらつづく