雑記: RNN の勾配が消失したり爆発したりする話のメモ

参考文献 ニューラルネットワークと深層学習(Web上の教材) http://www.bioinf.jku.at/publications/older/2604.pdf(LSTM の原論文) シチュエーション(まずL+1層パーセプトロンの場合) 層目を入力層、 層目を出力層として、 層が連なっているとする。 …

Reinforcement Learning: An Introduction〔Second Edition〕(その4)(途中)

以下の本を読みます。何かお気付きの点がありましたらご指摘いただけますと幸いです。 Sutton & Barto Book: Reinforcement Learning: An Introduction〈参考〉過去に強化学習についてかいたものへのリンク 「これからの強化学習」勉強会#1 「これからの強化…

雑記: SVMのラグランジュ乗数法と双対問題(途中)

何か問題点がありましたらご指摘いただけますと幸いです。前々回の PRML 読み( パターン認識と機械学習 下(第7章:その1) - クッキーの日記 )でプロデューサーがハードマージンSVMの最適化問題を解いてたと思うんだけど、よくみるとなんかおかしいんだよ…

雑記: サポートベクターマシンの最適化問題まで

サポートベクターマシンって何がしたいのという話です(この最適化問題をカーネル関数の式に書き換えるまでやらないと片手落ちではあります)。 (暗いがより解像度が高い画像はこちら:https://pbs.twimg.com/media/DwoggizVYAAQ2j2.jpg:large)

パターン認識と機械学習 下(第7章:その2)

以下の本を読みます。上巻を読むこともあります。何か問題点がありましたらご指摘いただけますと幸いです。パターン認識と機械学習 下 (ベイズ理論による統計的予測)作者: C.M.ビショップ,元田浩,栗田多喜夫,樋口知之,松本裕治,村田昇出版社/メーカー: 丸善…

NIPS2018読みメモ: Graphical model inference: SMC meets deterministic approximations(その1)

以下の論文を読みます。解釈誤りは筆者に帰属します。問題点がありましたらご指摘いただけますと幸いです。Fredrik Lindsten, Jouni Helske, Matti Vihola. Graphical model inference: Sequential Monte Carlo meets deterministic approximations. In Proc…

Reinforcement Learning: An Introduction〔Second Edition〕(その3)

以下の本を読みます。何かお気付きの点がありましたらご指摘いただけますと幸いです。 Sutton & Barto Book: Reinforcement Learning: An Introduction〈参考〉過去に強化学習についてかいたものへのリンク 「これからの強化学習」勉強会#1 「これからの強化…

Reinforcement Learning: An Introduction〔Second Edition〕(その2)

以下の本を読みます。何かお気付きの点がありましたらご指摘いただけますと幸いです。 Sutton & Barto Book: Reinforcement Learning: An Introduction〈参考〉過去に強化学習についてかいたものへのリンク 「これからの強化学習」勉強会#1 「これからの強化…

パターン認識と機械学習 下(第7章:その1)

以下の本を読みます。上巻を読むこともあります。何か問題点がありましたらご指摘いただけますと幸いです。パターン認識と機械学習 下 (ベイズ理論による統計的予測)作者: C.M.ビショップ,元田浩,栗田多喜夫,樋口知之,松本裕治,村田昇出版社/メーカー: 丸善…

NIPS2018読みメモ: Precision and Recall for Time Series

以下の論文を読みます。解釈誤りは筆者に帰属します。問題点がありましたらご指摘いただけますと幸いです。Nesime Tatbul, Tae Jun Lee, Stan Zdonik, Mejbah Alam, Justin Gottschlich. Precision and Recall for Time Series. In Proceedings of NIPS 2018…

Reinforcement Learning: An Introduction〔Second Edition〕(その1)

以下の本を読みます。何かお気付きの点がありましたらご指摘いただけますと幸いです。 Sutton & Barto Book: Reinforcement Learning: An Introduction〈参考〉過去に強化学習についてかいたものへのリンク 「これからの強化学習」勉強会#1 「これからの強化…

パターン認識と機械学習 下(第6章:その6〈終〉)

以下の本を読みます。上巻を読むこともあります。何か問題点がありましたらご指摘いただけますと幸いです。パターン認識と機械学習 下 (ベイズ理論による統計的予測)作者: C.M.ビショップ,元田浩,栗田多喜夫,樋口知之,松本裕治,村田昇出版社/メーカー: 丸善…

パターン認識と機械学習 下(第6章:その5)

以下の本を読みます。上巻を読むこともあります。何か問題点がありましたらご指摘いただけますと幸いです。パターン認識と機械学習 下 (ベイズ理論による統計的予測)作者: C.M.ビショップ,元田浩,栗田多喜夫,樋口知之,松本裕治,村田昇出版社/メーカー: 丸善…

雑記: Schur 補行列と Sherman-Morrison-Woodbury の公式とカルマンフィルタとガウス過程回帰の整理

公式の証明はありません(参考文献の1つ目に詳しいのでそちらをご参照ください)。何か問題点がありましたらご指摘いただけますと幸いです。参考文献Sherman-Morrison-Woodburyの公式 (Schur補行列) - いんふらけいようじょのえにっきパターン認識と機械学習…

パターン認識と機械学習 下(第6章:その4)

以下の本を読みます。上巻を読むこともあります。何か問題点がありましたらご指摘いただけますと幸いです。パターン認識と機械学習 下 (ベイズ理論による統計的予測)作者: C.M.ビショップ,元田浩,栗田多喜夫,樋口知之,松本裕治,村田昇出版社/メーカー: 丸善…

パターン認識と機械学習 下(第6章:その3)

以下の本を読みます。上巻を読むこともあります。何か問題点がありましたらご指摘いただけますと幸いです。パターン認識と機械学習 下 (ベイズ理論による統計的予測)作者: C.M.ビショップ,元田浩,栗田多喜夫,樋口知之,松本裕治,村田昇出版社/メーカー: 丸善…

パターン認識と機械学習 下(第6章:その2)

以下の本を読みます。上巻を読むこともあります。何か問題点がありましたらご指摘いただけますと幸いです。パターン認識と機械学習 下 (ベイズ理論による統計的予測)作者: C.M.ビショップ,元田浩,栗田多喜夫,樋口知之,松本裕治,村田昇出版社/メーカー: 丸善…

パターン認識と機械学習 下(第6章:その1)

以下の本を読みます。上巻を読むこともあります。何か問題点がありましたらご指摘いただけますと幸いです。パターン認識と機械学習 下 (ベイズ理論による統計的予測)作者: C.M.ビショップ,元田浩,栗田多喜夫,樋口知之,松本裕治,村田昇出版社/メーカー: 丸善…

雑記: 行列式にたどり着きたい話

キャラクターの原作とは関係ありません。何か問題点がありましたらご指摘いただけますと幸いです。 2018-11-08 この文字色の箇所を加筆しました。ジュン、行列式って何?以下を参照してください。参考文献 線形代数の知識ゼロから始めて行列式「だけ」理解す…

直感 Deep Learning: 5章メモ(単語分散表現)(番外編)

以下の本を読みます。直感 Deep Learning ―Python×Kerasでアイデアを形にするレシピAntonio Gulli Sujit Pal 大串 正矢 オライリージャパン 2018-08-11売り上げランキング : 1992Amazonで詳しく見る by G-Toolsキャラクターの原作とは関係ありません。本読み…

異常検知と変化検知: 11章メモ(密度比推定による変化検知)

以下の赤い本の11章を読みます。キャラクターは適当です。誤りがありましたらご指摘いただけますと幸いです。 異常検知と変化検知 (機械学習プロフェッショナルシリーズ)井手 剛 杉山 将 講談社 2015-08-08売り上げランキング : 56236Amazonで詳しく見る by …

直感 Deep Learning: 5章メモ(単語分散表現)(その3)

以下の本を読みます。直感 Deep Learning ―Python×Kerasでアイデアを形にするレシピAntonio Gulli Sujit Pal 大串 正矢 オライリージャパン 2018-08-11売り上げランキング : 1992Amazonで詳しく見る by G-Toolsキャラクターの原作とは関係ありません。本読み…

直感 Deep Learning: 5章メモ(単語分散表現)(その2)

以下の本を読みます。直感 Deep Learning ―Python×Kerasでアイデアを形にするレシピAntonio Gulli Sujit Pal 大串 正矢 オライリージャパン 2018-08-11売り上げランキング : 1992Amazonで詳しく見る by G-Toolsキャラクターの原作とは関係ありません。本読み…

雑記: Windows10上AnacondaへのGPU版TensorFlow導入

GPU環境がほしいとかあると思います。ハードのことはよくわからないですが、さすがにGPU環境を手に入れるためにはそれに対応したGPUというものが必要そうな気がします。ちなみにGPUが何なのかはよくわかりません。画面を描画するための並列処理をする演算装…

直感 Deep Learning: 5章メモ(単語分散表現)(その1)

以下の本を読みます。直感 Deep Learning ―Python×Kerasでアイデアを形にするレシピAntonio Gulli Sujit Pal 大串 正矢 オライリージャパン 2018-08-11売り上げランキング : 1992Amazonで詳しく見る by G-Toolsキャラクターの原作とは関係ありません。本読み…

勉強会用メモ(GARCHモデル)

沖本計量時系列本の7章GARCHモデルの勉強会用ノートなんですがブラウザから見ると数式の一部及び式番号が見えないようです? github.com

異常検知と変化検知: 10章メモ(疎構造学習による変化検知)

以下の赤い本の10章を読みます。キャラクターは適当です。誤りがありましたらご指摘いただけますと幸いです。 異常検知と変化検知 (機械学習プロフェッショナルシリーズ)井手 剛 杉山 将 講談社 2015-08-08売り上げランキング : 56236Amazonで詳しく見る by …

雑記

gist をブログに貼り付けてみます。下のスクリプトは2つの例ではたぶん意図通りに動いていますがそれ以外の例でバグが出るかもしれません。いつか確認します。

雑記

機械学習で Leakage ってよく聞きますけど、結局 Leakage の語義というか具体的に言い切ると何なのかよくわからないんですよね。漏れてはいけない情報が漏れていること、のようではあるんですが、何が漏れてはいけないんでしょう? 我々は総力を挙げてテスト…

雑記: 沖本本読み勉強会用のメモ

以下の本を読む勉強会用のメモです。もし何か誤りがありましたらご指摘いただけますと幸いです。 経済・ファイナンスデータの計量時系列分析 (統計ライブラリー)沖本 竜義 朝倉書店 2010-02-01売り上げランキング : 19813Amazonで詳しく見る by G-Tools今度…