雑記: 1の分割の話

お気付きの点がありましたらご指摘いただけますと幸いです。全体的に参考文献 3. がないと(あっても)意味がわかりません。参考文献 1の分割 - Wikipedia パラコンパクト空間 - Wikipedia 多様体の基礎 (基礎数学) | 松本 幸夫 |本 | 通販 | Amazon ※ キャ…

雑記: KKT条件の話

お気付きの点がありましたらご指摘いただけますと幸いです。全体的にきちんとした証明を欠きます。参考文献 機械学習のための連続最適化 (機械学習プロフェッショナルシリーズ) | 金森 敬文, 鈴木 大慈, 竹内 一郎, 佐藤 一誠 |本 | 通販 | Amazon 162ページ…

ベイズ統計の理論と方法: ノート4

以下の本を読みます。キャラクターは架空のものです。解釈の誤りは筆者に帰属します。おかしい点がありましたらコメント等でご指摘いただけますと幸いです。 ベイズ統計の理論と方法作者: 渡辺澄夫出版社/メーカー: コロナ社発売日: 2012/03/01メディア: 単…

NIPS2017読みメモ: Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles(その1)

以下の論文を読みます。Balaji Lakshminarayanan, Alexander Pritzel, Charles Blundell. Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles. In Advances in Neural Information Processing Systems 30 (NIPS 2017). https://ar…

雑記

おかしい点があったらご指摘いただけますと幸いです。行列 を、行列式 に移す写像 を行列のある成分 について偏微分したいとします。これは を 列目で余因子展開するとわかります。 は の -余因子とします。 ∴ なのでこれを横に並べれば の におけるヤコビ行…

ベイズ統計の理論と方法: ノート4章その0.1

以下の本を読みます。キャラクターは架空のものです。解釈の誤りは筆者に帰属します。おかしい点がありましたらコメント等でご指摘いただけますと幸いです。 ベイズ統計の理論と方法作者: 渡辺澄夫出版社/メーカー: コロナ社発売日: 2012/03/01メディア: 単…

NeurIPS2018読みメモ: CatBoost: unbiased boosting with categorical features(その0)

以下の論文を読みます。Liudmila Prokhorenkova, Gleb Gusev, Aleksandr Vorobev, Anna Veronika Dorogush, Andrey Gulin. CatBoost: unbiased boosting with categorical features. In Proceedings of NIPS 2018. https://papers.nips.cc/paper/7898-catboo…

雑記: 積の微分公式の話

おかしい点がありましたらご指摘いただけますと幸いです。用語の定義は参考文献 3. に倣っていますが別の文献では異なる可能性があります。参考文献 3. を参考にしていますが解釈の誤りは筆者に帰属します。極限の定義に不明瞭なところがあると思います。参…

ベイズ統計の理論と方法: ノート3

以下の本を読みます。キャラクターは架空のものです。解釈の誤りは筆者に帰属します。おかしい点がありましたらコメント等でご指摘いただけますと幸いです。 ベイズ統計の理論と方法作者: 渡辺澄夫出版社/メーカー: コロナ社発売日: 2012/03/01メディア: 単…

論文読みメモ: Poincaré Embeddings for Learning Hierarchical Representations(その1)

以下の論文を読みます。Maximilian Nickel, Douwe Kiela. Poincaré Embeddings for Learning Hierarchical Representations. In Advances in Neural Information Processing Systems, 2017. https://papers.nips.cc/paper/7213-poincare-embeddings-for-lear…

ベイズ統計の理論と方法: ノート2.5

以下の本を読みます。キャラクターは架空のものです。解釈の誤りは筆者に帰属します。おかしい点がありましたらコメント等でご指摘いただけますと幸いです。 ベイズ統計の理論と方法作者: 渡辺澄夫出版社/メーカー: コロナ社発売日: 2012/03/01メディア: 単…

雑記

【下のノートについて】多変量正規分布があったとき、 から への線形回帰と から への線形回帰は一致しないらしいんですが、あまり納得できなかったのでどう説明したら納得できるか考えてみたんですが、やっぱりあまり納得できなかったし、あとグラフに確率…

ベイズ統計の理論と方法: ノート2

以下の本を読みます。キャラクターは架空のものです。解釈の誤りは筆者に帰属します。おかしい点がありましたらコメント等でご指摘いただけますと幸いです。 ベイズ統計の理論と方法作者: 渡辺澄夫出版社/メーカー: コロナ社発売日: 2012/03/01メディア: 単…

カーネル法入門: ノート2

以下の本を読みます。キャラクターは架空のものです。解釈の誤りは筆者に帰属します。お気付きの点がありましたらコメント等でご指摘いただけますと幸いです。 カーネル法入門―正定値カーネルによるデータ解析 (シリーズ 多変量データの統計科学)作者: 福水…

カーネル法入門: ノート1

以下の本を読みます。キャラクターは架空のものです。解釈の誤りは筆者に帰属します。お気付きの点がありましたらコメント等でご指摘いただけますと幸いです。 カーネル法入門―正定値カーネルによるデータ解析 (シリーズ 多変量データの統計科学)作者: 福水…

機械学習のための特徴量エンジニアリング: ノート2

以下の本を読みます。キャラクターは架空のものです。解釈の誤りは筆者に帰属します。お気付きの点がありましたらコメント等でご指摘いただけますと幸いです。 機械学習のための特徴量エンジニアリング ―その原理とPythonによる実践 (オライリー・ジャパン)…

機械学習のための特徴量エンジニアリング: ノート1

以下の本を読みます。キャラクターは架空のものです。解釈の誤りは筆者に帰属します。お気付きの点がありましたらコメント等でご指摘いただけますと幸いです。 機械学習のための特徴量エンジニアリング ―その原理とPythonによる実践 (オライリー・ジャパン)…

ベイズ統計の理論と方法: ノート1

以下の本を読みます。キャラクターは架空のものです。解釈の誤りは筆者に帰属します。おかしい点がありましたらコメント等でご指摘いただけますと幸いです。 ベイズ統計の理論と方法作者: 渡辺澄夫出版社/メーカー: コロナ社発売日: 2012/03/01メディア: 単…

論文読みメモ: GBrank(その2)

以下の論文を読みます。Zhaohui Zheng, Keke Chen, Gordon Sun, Hongyuan Zha. A Regression Framework for Learning Ranking Functions Using Relative Relevance Judgments. In SIGIR, pages 287-294, 2007. https://www.cc.gatech.edu/~zha/papers/fp086-…

雑記

おかしい点がありましたらご指摘いただけますと幸いです。参考文献 Berry paradox - Wikipedia ※ キャラクターは架空のものです。 大変です! このフレーズを見てください。 The smallest positive integer not definable in under sixty letters.日本語に訳…

雑記: AUC の話とその scikit-learn での計算手順の話

AUC というものを算出しろといわれることがあると思います。でも幸いなことに scikit-learn で算出できます。 sklearn.metrics.roc_auc_score — scikit-learn 0.20.2 documentation 例えば以下のような正解ラベルが付いたデータのそれぞれに対して、あるモデ…

論文読みメモ: GBrank(その1)

以下の論文を読みます。Zhaohui Zheng, Keke Chen, Gordon Sun, Hongyuan Zha. A Regression Framework for Learning Ranking Functions Using Relative Relevance Judgments. In SIGIR, pages 287-294, 2007. https://www.cc.gatech.edu/~zha/papers/fp086-…

雑記: 決定木の話(途中)

別の記事で勾配ブースティング手法を勉強しようとしているのですが、そこでよく用いられる決定木について知らなかったので決定木の話を書きました。初学者なのでおかしい点がありましたらご指摘いただけますと幸いです。参考文献 はじめてのパターン認識 | …

NeurIPS2018読みメモ: CatBoost: unbiased boosting with categorical features(その-1: そもそも gradient boosting がわからない)

以下の論文を読みます。Liudmila Prokhorenkova, Gleb Gusev, Aleksandr Vorobev, Anna Veronika Dorogush, Andrey Gulin. CatBoost: unbiased boosting with categorical features. In Proceedings of NIPS 2018. https://papers.nips.cc/paper/7898-catboo…

NeurIPS2018読みメモ: Deep State Space Models for Time Series Forecasting(その1)

以下の論文を読みます。Syama Sundar Rangapuram, Matthias Seeger, Jan Gasthaus, Lorenzo Stella, Yuyang Wang, Tim Januschowski. Deep State Space Models for Time Series Forecasting. In Proceedings of NIPS 2018. https://papers.nips.cc/paper/800…

雑記: RNN の勾配が消失したり爆発したりする話のメモ

参考文献 ニューラルネットワークと深層学習(Web上の教材) http://www.bioinf.jku.at/publications/older/2604.pdf(LSTM の原論文) シチュエーション(まずL+1層パーセプトロンの場合) 層目を入力層、 層目を出力層として、 層が連なっているとする。 …

Reinforcement Learning: An Introduction〔Second Edition〕(その4)(途中)

以下の本を読みます。何かお気付きの点がありましたらご指摘いただけますと幸いです。 Sutton & Barto Book: Reinforcement Learning: An Introduction〈参考〉過去に強化学習についてかいたものへのリンク 「これからの強化学習」勉強会#1 「これからの強化…

雑記: SVMのラグランジュ乗数法と双対問題(途中)

何か問題点がありましたらご指摘いただけますと幸いです。前々回の PRML 読み( パターン認識と機械学習 下(第7章:その1) - クッキーの日記 )でプロデューサーがハードマージンSVMの最適化問題を解いてたと思うんだけど、よくみるとなんかおかしいんだよ…

雑記: サポートベクターマシンの最適化問題まで

サポートベクターマシンって何がしたいのという話です(この最適化問題をカーネル関数の式に書き換えるまでやらないと片手落ちではあります)。 (暗いがより解像度が高い画像はこちら:https://pbs.twimg.com/media/DwoggizVYAAQ2j2.jpg:large)

パターン認識と機械学習 下(第7章:その2)

以下の本を読みます。上巻を読むこともあります。何か問題点がありましたらご指摘いただけますと幸いです。パターン認識と機械学習 下 (ベイズ理論による統計的予測)作者: C.M.ビショップ,元田浩,栗田多喜夫,樋口知之,松本裕治,村田昇出版社/メーカー: 丸善…