NeurIPS2018読みメモ: CatBoost: unbiased boosting with categorical features(その0)

以下の論文を読みます。Liudmila Prokhorenkova, Gleb Gusev, Aleksandr Vorobev, Anna Veronika Dorogush, Andrey Gulin. CatBoost: unbiased boosting with categorical features. In Proceedings of NIPS 2018. https://papers.nips.cc/paper/7898-catboo…

雑記: 積の微分公式の話

おかしい点がありましたらご指摘いただけますと幸いです。用語の定義は参考文献 3. に倣っていますが別の文献では異なる可能性があります。参考文献 3. を参考にしていますが解釈の誤りは筆者に帰属します。極限の定義に不明瞭なところがあると思います。参…

ベイズ統計の理論と方法: ノート3

以下の本を読みます。キャラクターは架空のものです。解釈の誤りは筆者に帰属します。おかしい点がありましたらコメント等でご指摘いただけますと幸いです。 ベイズ統計の理論と方法作者: 渡辺澄夫出版社/メーカー: コロナ社発売日: 2012/03/01メディア: 単…

論文読みメモ: Poincaré Embeddings for Learning Hierarchical Representations(その1)

以下の論文を読みます。Maximilian Nickel, Douwe Kiela. Poincaré Embeddings for Learning Hierarchical Representations. In Advances in Neural Information Processing Systems, 2017. https://papers.nips.cc/paper/7213-poincare-embeddings-for-lear…

ベイズ統計の理論と方法: ノート2.5

以下の本を読みます。キャラクターは架空のものです。解釈の誤りは筆者に帰属します。おかしい点がありましたらコメント等でご指摘いただけますと幸いです。 ベイズ統計の理論と方法作者: 渡辺澄夫出版社/メーカー: コロナ社発売日: 2012/03/01メディア: 単…

雑記

【下のノートについて】多変量正規分布があったとき、 から への線形回帰と から への線形回帰は一致しないらしいんですが、あまり納得できなかったのでどう説明したら納得できるか考えてみたんですが、やっぱりあまり納得できなかったし、あとグラフに確率…

ベイズ統計の理論と方法: ノート2

以下の本を読みます。キャラクターは架空のものです。解釈の誤りは筆者に帰属します。おかしい点がありましたらコメント等でご指摘いただけますと幸いです。 ベイズ統計の理論と方法作者: 渡辺澄夫出版社/メーカー: コロナ社発売日: 2012/03/01メディア: 単…

カーネル法入門: ノート2

以下の本を読みます。キャラクターは架空のものです。解釈の誤りは筆者に帰属します。お気付きの点がありましたらコメント等でご指摘いただけますと幸いです。 カーネル法入門―正定値カーネルによるデータ解析 (シリーズ 多変量データの統計科学)作者: 福水…

カーネル法入門: ノート1

以下の本を読みます。キャラクターは架空のものです。解釈の誤りは筆者に帰属します。お気付きの点がありましたらコメント等でご指摘いただけますと幸いです。 カーネル法入門―正定値カーネルによるデータ解析 (シリーズ 多変量データの統計科学)作者: 福水…

機械学習のための特徴量エンジニアリング: ノート2

以下の本を読みます。キャラクターは架空のものです。解釈の誤りは筆者に帰属します。お気付きの点がありましたらコメント等でご指摘いただけますと幸いです。 機械学習のための特徴量エンジニアリング ―その原理とPythonによる実践 (オライリー・ジャパン)…

機械学習のための特徴量エンジニアリング: ノート1

以下の本を読みます。キャラクターは架空のものです。解釈の誤りは筆者に帰属します。お気付きの点がありましたらコメント等でご指摘いただけますと幸いです。 機械学習のための特徴量エンジニアリング ―その原理とPythonによる実践 (オライリー・ジャパン)…

ベイズ統計の理論と方法: ノート1

以下の本を読みます。キャラクターは架空のものです。解釈の誤りは筆者に帰属します。おかしい点がありましたらコメント等でご指摘いただけますと幸いです。 ベイズ統計の理論と方法作者: 渡辺澄夫出版社/メーカー: コロナ社発売日: 2012/03/01メディア: 単…

論文読みメモ: GBrank(その2)

以下の論文を読みます。Zhaohui Zheng, Keke Chen, Gordon Sun, Hongyuan Zha. A Regression Framework for Learning Ranking Functions Using Relative Relevance Judgments. In SIGIR, pages 287-294, 2007. https://www.cc.gatech.edu/~zha/papers/fp086-…

雑記

おかしい点がありましたらご指摘いただけますと幸いです。参考文献 Berry paradox - Wikipedia ※ キャラクターは架空のものです。 大変です! このフレーズを見てください。 The smallest positive integer not definable in under sixty letters.日本語に訳…

雑記: AUC の話とその scikit-learn での計算手順の話

AUC というものを算出しろといわれることがあると思います。でも幸いなことに scikit-learn で算出できます。 sklearn.metrics.roc_auc_score — scikit-learn 0.20.2 documentation 例えば以下のような正解ラベルが付いたデータのそれぞれに対して、あるモデ…

論文読みメモ: GBrank(その1)

以下の論文を読みます。Zhaohui Zheng, Keke Chen, Gordon Sun, Hongyuan Zha. A Regression Framework for Learning Ranking Functions Using Relative Relevance Judgments. In SIGIR, pages 287-294, 2007. https://www.cc.gatech.edu/~zha/papers/fp086-…

雑記: 決定木の話(途中)

別の記事で勾配ブースティング手法を勉強しようとしているのですが、そこでよく用いられる決定木について知らなかったので決定木の話を書きました。初学者なのでおかしい点がありましたらご指摘いただけますと幸いです。参考文献 はじめてのパターン認識 | …

NeurIPS2018読みメモ: CatBoost: unbiased boosting with categorical features(その-1: そもそも gradient boosting がわからない)

以下の論文を読みます。Liudmila Prokhorenkova, Gleb Gusev, Aleksandr Vorobev, Anna Veronika Dorogush, Andrey Gulin. CatBoost: unbiased boosting with categorical features. In Proceedings of NIPS 2018. https://papers.nips.cc/paper/7898-catboo…

NeurIPS2018読みメモ: Deep State Space Models for Time Series Forecasting(その1)

以下の論文を読みます。Syama Sundar Rangapuram, Matthias Seeger, Jan Gasthaus, Lorenzo Stella, Yuyang Wang, Tim Januschowski. Deep State Space Models for Time Series Forecasting. In Proceedings of NIPS 2018. https://papers.nips.cc/paper/800…

雑記: RNN の勾配が消失したり爆発したりする話のメモ

参考文献 ニューラルネットワークと深層学習(Web上の教材) http://www.bioinf.jku.at/publications/older/2604.pdf(LSTM の原論文) シチュエーション(まずL+1層パーセプトロンの場合) 層目を入力層、 層目を出力層として、 層が連なっているとする。 …

Reinforcement Learning: An Introduction〔Second Edition〕(その4)(途中)

以下の本を読みます。何かお気付きの点がありましたらご指摘いただけますと幸いです。 Sutton & Barto Book: Reinforcement Learning: An Introduction〈参考〉過去に強化学習についてかいたものへのリンク 「これからの強化学習」勉強会#1 「これからの強化…

雑記: SVMのラグランジュ乗数法と双対問題(途中)

何か問題点がありましたらご指摘いただけますと幸いです。前々回の PRML 読み( パターン認識と機械学習 下(第7章:その1) - クッキーの日記 )でプロデューサーがハードマージンSVMの最適化問題を解いてたと思うんだけど、よくみるとなんかおかしいんだよ…

雑記: サポートベクターマシンの最適化問題まで

サポートベクターマシンって何がしたいのという話です(この最適化問題をカーネル関数の式に書き換えるまでやらないと片手落ちではあります)。 (暗いがより解像度が高い画像はこちら:https://pbs.twimg.com/media/DwoggizVYAAQ2j2.jpg:large)

パターン認識と機械学習 下(第7章:その2)

以下の本を読みます。上巻を読むこともあります。何か問題点がありましたらご指摘いただけますと幸いです。パターン認識と機械学習 下 (ベイズ理論による統計的予測)作者: C.M.ビショップ,元田浩,栗田多喜夫,樋口知之,松本裕治,村田昇出版社/メーカー: 丸善…

NIPS2018読みメモ: Graphical model inference: SMC meets deterministic approximations(その1)

以下の論文を読みます。解釈誤りは筆者に帰属します。問題点がありましたらご指摘いただけますと幸いです。Fredrik Lindsten, Jouni Helske, Matti Vihola. Graphical model inference: Sequential Monte Carlo meets deterministic approximations. In Proc…

Reinforcement Learning: An Introduction〔Second Edition〕(その3)

以下の本を読みます。何かお気付きの点がありましたらご指摘いただけますと幸いです。 Sutton & Barto Book: Reinforcement Learning: An Introduction〈参考〉過去に強化学習についてかいたものへのリンク 「これからの強化学習」勉強会#1 「これからの強化…

Reinforcement Learning: An Introduction〔Second Edition〕(その2)

以下の本を読みます。何かお気付きの点がありましたらご指摘いただけますと幸いです。 Sutton & Barto Book: Reinforcement Learning: An Introduction〈参考〉過去に強化学習についてかいたものへのリンク 「これからの強化学習」勉強会#1 「これからの強化…

パターン認識と機械学習 下(第7章:その1)

以下の本を読みます。上巻を読むこともあります。何か問題点がありましたらご指摘いただけますと幸いです。パターン認識と機械学習 下 (ベイズ理論による統計的予測)作者: C.M.ビショップ,元田浩,栗田多喜夫,樋口知之,松本裕治,村田昇出版社/メーカー: 丸善…

NIPS2018読みメモ: Precision and Recall for Time Series

以下の論文を読みます。解釈誤りは筆者に帰属します。問題点がありましたらご指摘いただけますと幸いです。Nesime Tatbul, Tae Jun Lee, Stan Zdonik, Mejbah Alam, Justin Gottschlich. Precision and Recall for Time Series. In Proceedings of NIPS 2018…

Reinforcement Learning: An Introduction〔Second Edition〕(その1)

以下の本を読みます。何かお気付きの点がありましたらご指摘いただけますと幸いです。 Sutton & Barto Book: Reinforcement Learning: An Introduction〈参考〉過去に強化学習についてかいたものへのリンク 「これからの強化学習」勉強会#1 「これからの強化…