以下の論文を読みます。キャラクターの原作とは無関係です。私の誤りは私に帰属します。お気付きの点がありましたらご指摘ください。
Sifan Wu, Xi Xiao, Qianggang Ding, Peilin Zhao, Ying Wei, Junzhou Huang. Adversarial Sparse Transformer for Time Series Forecasting. In
Pre-proceedings of the 33rd International Conference on in Neural Information Processing Systems (NeurIPS 2020), 2020.
Paperまとめ
- 問題設定：
- 関連するいくつかの時系列（例. 各家庭の15分ごとの電力消費量など）がある。
- 各時系列について、少し離れた先の特定のパーセンタイルを予測したい。
- 例えば、 50 パーセンタイルと 90 パーセンタイル、のように。
- アプローチ：
- 予測するパーセンタイルごとに Transformer を用意して学習する（曜日や時刻も入力するのが Positional Encoding の役割を担うと思われる）。損失はパーセンタイルに応じたピンボールロスにする。ただし、
- 予測に無関係なステップを無視し、予測に関係あるステップに注意を集中したいので、アテンションにはソフトマックスではなく α-entmax を用いる（Sparse）。
- Transformer の学習には、ディスクリミネータも利用する（Adversarial）。
- 結果、electricity, traffic の1日後、7日後予測や wind, solar, M4-Hourly の予測のほとんどでも予測性能が既存手法を上回った（誤差の蓄積を回避できた）。
- 単純な Transformer や Sparse Transformer よりも Adversarial Sparse Transformer がよかった。
- なお、DeepAR を Adversatial に学習しても性能が向上した。
所感
- どのようなデータを出力するべきかの指針を与えてくれる敵対的学習は、損失を上手く設計できない場面で（上手く設計できるとは）広く有効そうにみえる。
関連記事目次 GAN
時系列予測モデルとして Adversarial Sparse Transformer (AST) なるモデルを提案しているんですが、GAN の要領で Transformer を学習するのが独特です。これによって誤差の蓄積を回避し、長期予測性能を向上させています。
GAN って何だったっけ。てか俺誕生日なのになんで論文読まされてるの…。
敵対的って物騒だな…って思ったけど、それを訊くと本格的に敵対してるな。片や欺こうとして、片や見抜こうとしてるんだから。…でもさ、人間の顔っぽい画像の分布がほしいなら、各訓練データに近いほど密度が大きい分布をつくって足し合わせるとかじゃ駄目なの？
その近いとは何かという話だと思います。「この方向にこれくらいずらすのは近いのか」とかわからないでしょう。分散を小さめにしたらしたで、元の訓練データ内にあった画像しか出てこないモデルになってしまいますし。元の画像のどれかとかではなく本当にランダムだが見分けにくいようなものがほしくてこのようなことをするのだと思います。見分ける係（
）が人間ではなくてニューラルネットですから人間の感覚との差異はあるでしょうが、それでもかなり上手くいくんでしょう。
ふーん…それで、Transformer ってのは超ロボット生命体？
…処理が込み入ってるけど、Transformer は系列から系列を得るのに使えるんだな。入力文章の各位置に前後の文脈を反映させてエンコード文章にして、デコードするときはそこまででデコードできている範囲で前後の文脈を反映させてからエンコード文章を取り込むって感じか…ってあれ？ いまは機械翻訳じゃなくて時系列の予測をしたいんだよな？
問題設定
あとここにきて気付いたんですが、説明変数 
は Transformer でいう Positional Encoding とかトークンタイプエンコーディングの位置付けなんですね。例えば月や曜日などとありましたし。Figure 2 に Positional Encoding はありませんし。あ、Positional Encoding は、機械翻訳ではその単語が何単語目かという特徴ベクトルですね。それを予め各単語ベクトルに足し合わせてからマルチヘッドセルフアテンションに流します。Transformer は再帰や畳込みを行わないので、そうでもしないとその単語が文章の1番目にあったのか、2番目にあったのかが本質的に区別されませんからね。
Sparse
先に Sparse の説明からいきましょう。
Sparse
時系列を予測するのに、過去の数ステップにしか注目したくなくて、関係ないステップには全く注目したくないという気持ちがあります（過去のどのステップが未来予測に関わってくるかは時系列によると思うんですが）。必要なステップへの注意に集中したいんです。しかし、
はソフトマックスの結果ですから、小さい要素でも完全にゼロにはなりません。そこで α-entmax を採用します。以下で提案されたものですね。
つまり、
![\alpha_{\rm entmax}(h) = [ (\alpha - 1) h - \tau {\bf 1}]^{1/(\alpha - 1)}_{+}](https://chart.apis.google.com/chart?cht=tx&chl=%5Calpha_%7B%5Crm%20entmax%7D%28h%29%20%3D%20%5B%20%28%5Calpha%20-%201%29%20h%20-%20%5Ctau%20%7B%5Cbf%201%7D%5D%5E%7B1%2F%28%5Calpha%20-%201%29%7D_%7B%2B%7D)
です。ここで、
![[\cdot]_+](https://chart.apis.google.com/chart?cht=tx&chl=%5B%5Ccdot%5D_%2B)
は ReLU、
は要素がすべて1のベクトルで、
は
に応じてただ1つ定まる
閾値です。
はスパースさの度合いを定めるパラメータで、
のとき
は softmax と一致するそうです。
のときは sparsemax なるものになるそうです。参照している論文の Figure 3 にいくつかの
に対するグラフがありますね。
のときは
がどれだけ小さくても小さな正の値になりますが、
が大きくなるほどゼロに切り捨てられる範囲が広がってくることがわかると思います。ステップ関数に近づいてきますね。この論文では
を採用するようです。
え、 何その式の形…全然ソフトマックスっぽくないんだけど…。
そうですね…元々 α-entmax は参照論文の (10) 式として定義されていて、これだとベクトル 
の最適化を含んでしまうので、 の最適化に落とし込んだのが今回の式のようなんですが、詳細は参照論文をよく読まなければなさそうです。
Adversarial
最後に Adversarial の説明です。
Adversarial
ここまでで現時点までの時系列から向こう何ステップかの予測値を生成する Sparse Transformer を用意しましたが、これを普通に学習するのではなく、ディスクリミネータも導入して学習します。ディスクリミネータには LeakReLu で活性化した3層の全結合層を用いたそうです。以降、Sparse Transformer のことをジェネレータとよびかえます。学習の1
イテレーションは以下です。
- データセットからランダムに
![[ X_{1:t_0 + \tau}, Y_{1:t_0 + \tau} ]](https://chart.apis.google.com/chart?cht=tx&chl=%20%5B%20X_%7B1%3At_0%20%2B%20%5Ctau%7D%2C%20Y_%7B1%3At_0%20%2B%20%5Ctau%7D%20%5D%20)
をサンプリングします。
とします。
- 現時点のジェネレータで
を予測します。
とします。ディスクリミネータに 
と判定させるのがジェネレータの目標です。
- 以下を小さくするようにジェネレータを更新します。
![\mathcal{L}_\rho (Y_{t_0+1:t_0+\tau}, \hat{Y}_{t_0 + 11:t_0 + \tau}) + \lambda \mathbb{E}[ \log( 1 − D(Y_{\rm fake} )) ]](https://chart.apis.google.com/chart?cht=tx&chl=%20%5Cmathcal%7BL%7D_%5Crho%20%28Y_%7Bt_0%2B1%3At_0%2B%5Ctau%7D%2C%20%5Chat%7BY%7D_%7Bt_0%20%2B%2011%3At_0%20%2B%20%5Ctau%7D%29%20%2B%20%5Clambda%20%5Cmathbb%7BE%7D%5B%20%5Clog%28%201%20%E2%88%92%20D%28Y_%7B%5Crm%20fake%7D%20%29%29%20%5D%20)
- 以下を小さくするようにディスクリミネータを更新します。
![\mathbb{E}[ - \log( D(Y_{\rm real} )) - \log( 1 − D(Y_{\rm fake} )) ]](https://chart.apis.google.com/chart?cht=tx&chl=%20%5Cmathbb%7BE%7D%5B%20-%20%5Clog%28%20D%28Y_%7B%5Crm%20real%7D%20%29%29%20-%20%5Clog%28%201%20%E2%88%92%20D%28Y_%7B%5Crm%20fake%7D%20%29%29%20%5D%20)
ここで
は通常の学習の損失ですが、
を
と予測したときの損失の定義は、例えば 90 パーセンタイルの予測だったら、「上振れしたときは上振れ幅の 0.1 倍、下振れしたときは下振れ幅の 0.9 倍」です（論文は誤植だと思います）。基本的に絶対誤差なんですが、90パーセンタイルの予測だったら下振れ側に厳しく、10パーセンタイルの予測だったら上振れ側に厳しいイメージですね。
…それって90パーセンタイルの予測になるの？ だって、仮に が を完璧に予測できたらその損失ってゼロになるけど、それは90パーセンタイルの予測じゃなくない？
完璧に予測できたらそうなるでしょうが、まず完璧に予測できないとして、「上振れはしてもほとんど下振れしない予測値」にはなっていると思います。それくらいの意味しかないと思いますよ。本当に90パーセンタイルを予測したかったら、90パーセンタイルのアノテーションデータが必要だと思いますし。
検証結果
検証は electricity, traffic, wind, solar, M4-Hourly データセットで行ったようです。electricity, traffic については以下の記事で図示しました。
誤差の指標として6ページの (8) 式のρリスクを導入していますが、これは50パーセンタイルの予測であれば単なる絶対パーセント誤差ですね。90パーセンタイルの予測であれば、上振れに甘く、下振れに厳しくなります。
Table 2, Table 3 は electricity, traffic の1日後、1週間後予測ですが（Table 2 は50パーセンタイル、Table 3 は90パーセンタイル）、AST のρリスクが既存手法に比べて最小になっていますね。AST の左隣2列が T, ST となっていますが、これは単なる Transformer と Sparse Transformer でしょう。T より ST の方がよく、ST より AST の方がさらによいことがはっきりわかりますね。Table 6 には wind, solar, M4-Hourly の結果がありますが、50パーセンタイルは一貫して AST が最良ですが、90パーセンタイルについては DeepState や DeepAR がよい場合もありますね。
面白いのは、Table 5 で DeepAR にも敵対的学習を施してみている点です。DeepAR も敵対的学習によって性能が向上することがわかります。向上後も AST よりは誤差が大きいようですが。
敵対的学習がそれだけ有効だったってこと？ …でもさ、予測モデルの学習って正解データがあるんだよな。正解に合わせるように学習しさえすればいいんじゃないのか？ なんでわざわざ敵（ディスクリミネータ）を用意して敵対させなきゃならないんだ…。
今回の特徴は再帰的に何ステップも予測を続けていく点だと思います。例えば一期先予測を大きい側に 
謝るのと、小さい側に 誤るのとでは、絶対誤差の観点ではどちらも同じだけの誤りです。しかし、「現時点までの時系列に続けてその値が観測されることは尤もらしいだろうか」という観点では同じ誤りではない可能性があります。ディスクリミネータ視点、片や「この系列は訓練データらしい（訓練データにあってもおかしくない）」、片や「この系列は訓練データらしくない」となっている可能性があります。そして、後者に陥ってしまったら、そこから先の予測は途端にくるってくる可能性があるかもしれません。だったら後者を優先して修正しなければならない…とか。
おわり
