雑記

雑記

おかしい点があったらご指摘いただけますと幸いです。行列 を、行列式 に移す写像 を行列のある成分 について偏微分したいとします。これは を 列目で余因子展開するとわかります。 は の -余因子とします。 ∴ なのでこれを横に並べれば の におけるヤコビ行…

雑記: 積の微分公式の話

おかしい点がありましたらご指摘いただけますと幸いです。用語の定義は参考文献 3. に倣っていますが別の文献では異なる可能性があります。参考文献 3. を参考にしていますが解釈の誤りは筆者に帰属します。極限の定義に不明瞭なところがあると思います。参…

雑記

【下のノートについて】多変量正規分布があったとき、 から への線形回帰と から への線形回帰は一致しないらしいんですが、あまり納得できなかったのでどう説明したら納得できるか考えてみたんですが、やっぱりあまり納得できなかったし、あとグラフに確率…

雑記

おかしい点がありましたらご指摘いただけますと幸いです。参考文献 Berry paradox - Wikipedia ※ キャラクターは架空のものです。 大変です! このフレーズを見てください。 The smallest positive integer not definable in under sixty letters.日本語に訳…

雑記: AUC の話とその scikit-learn での計算手順の話

AUC というものを算出しろといわれることがあると思います。でも幸いなことに scikit-learn で算出できます。 sklearn.metrics.roc_auc_score — scikit-learn 0.20.2 documentation 例えば以下のような正解ラベルが付いたデータのそれぞれに対して、あるモデ…

雑記: 決定木の話(途中)

別の記事で勾配ブースティング手法を勉強しようとしているのですが、そこでよく用いられる決定木について知らなかったので決定木の話を書きました。初学者なのでおかしい点がありましたらご指摘いただけますと幸いです。参考文献 はじめてのパターン認識 | …

雑記: RNN の勾配が消失したり爆発したりする話のメモ

参考文献 ニューラルネットワークと深層学習(Web上の教材) http://www.bioinf.jku.at/publications/older/2604.pdf(LSTM の原論文) シチュエーション(まずL+1層パーセプトロンの場合) 層目を入力層、 層目を出力層として、 層が連なっているとする。 …

雑記: SVMのラグランジュ乗数法と双対問題(途中)

何か問題点がありましたらご指摘いただけますと幸いです。前々回の PRML 読み( パターン認識と機械学習 下(第7章:その1) - クッキーの日記 )でプロデューサーがハードマージンSVMの最適化問題を解いてたと思うんだけど、よくみるとなんかおかしいんだよ…

雑記: サポートベクターマシンの最適化問題まで

サポートベクターマシンって何がしたいのという話です(この最適化問題をカーネル関数の式に書き換えるまでやらないと片手落ちではあります)。 (暗いがより解像度が高い画像はこちら:https://pbs.twimg.com/media/DwoggizVYAAQ2j2.jpg:large)

雑記: Schur 補行列と Sherman-Morrison-Woodbury の公式とカルマンフィルタとガウス過程回帰の整理

公式の証明はありません(参考文献の1つ目に詳しいのでそちらをご参照ください)。何か問題点がありましたらご指摘いただけますと幸いです。参考文献Sherman-Morrison-Woodburyの公式 (Schur補行列) - いんふらけいようじょのえにっきパターン認識と機械学習…

雑記: 行列式にたどり着きたい話

キャラクターの原作とは関係ありません。何か問題点がありましたらご指摘いただけますと幸いです。 2018-11-08 この文字色の箇所を加筆しました。ジュン、行列式って何?以下を参照してください。参考文献 線形代数の知識ゼロから始めて行列式「だけ」理解す…

雑記: Windows10上AnacondaへのGPU版TensorFlow導入

GPU環境がほしいとかあると思います。ハードのことはよくわからないですが、さすがにGPU環境を手に入れるためにはそれに対応したGPUというものが必要そうな気がします。ちなみにGPUが何なのかはよくわかりません。画面を描画するための並列処理をする演算装…

雑記

gist をブログに貼り付けてみます。下のスクリプトは2つの例ではたぶん意図通りに動いていますがそれ以外の例でバグが出るかもしれません。いつか確認します。

雑記

機械学習で Leakage ってよく聞きますけど、結局 Leakage の語義というか具体的に言い切ると何なのかよくわからないんですよね。漏れてはいけない情報が漏れていること、のようではあるんですが、何が漏れてはいけないんでしょう? 我々は総力を挙げてテスト…

雑記: 沖本本読み勉強会用のメモ

以下の本を読む勉強会用のメモです。もし何か誤りがありましたらご指摘いただけますと幸いです。 経済・ファイナンスデータの計量時系列分析 (統計ライブラリー)沖本 竜義 朝倉書店 2010-02-01売り上げランキング : 19813Amazonで詳しく見る by G-Tools今度…

雑記

Keras をよくわかっていないのでおかしな点があればご指摘いただきたいのですが、1つ前までの記事で紹介していた DAGMM(メモ1/メモ2/メモ3/メモ4)を Keras で実装しようとすると以下のような手順でできるんでしょうか。よくわかりません。 不整脈データ…

雑記: カルマンフィルタとか何とかカルマンフィルタとか

参考文献: データ同化入門 (予測と発見の科学) | 樋口 知之 |本 | 通販 | Amazon文字の置き方と表式をだいたい上の本に準拠していますが、違うこともあります。導出の仕方は上の本とは異なります。間違っていたらご指摘ください。今回はカルマンフィルタの…

雑記: 5次以上の方程式に解の公式が存在しない話

以下の話は厳密なものでも網羅的なものでもありません。キャラクターが登場しますが原作とは関係ありません。内容の誤りは筆者に帰属しますのでご指摘ください。 美希、最近仕事忙しそうだけど学校の勉強は大丈夫?春香に心配されなくてもミキは成績いいの。…

NIPS2017読み会@PFN: 参加メモ

以下の勉強会に参加してきました。connpass.com 以下、思ったことのメモです。いい加減なことしか書いてなく、文字数と興味は比例しません。 NIPSについて NIPS会議への参加はプラチナチケットなのですね…。 GANのテーマトーク 半教師有りですごいというのや…

2017-12-11 週の日記

12/11(月)~12/17(日)の日記を書きます。 参加したイベント 第10回 強化学習アーキテクチャ勉強会 - connpass(12/12) Speee もくもく会(12/16) mockmock.dev #142 - connpass(12/17) 参加したイベント 第10回 強化学習アーキテクチャ勉強会 - conn…

2017-12-04 週の日記

最近雑記ばかりで雑すぎるので週次の日記にしようと思います。12/4(月)~12/10(日)の日記にしようと思いますがついでなのでその前の週のことも一緒に書きます。 読んだ記事 GitHub - NVIDIA/sentiment-discovery: Unsupervised Language Modeling at sca…

雑記: GitHub Pages で自分のノート(HTML)をつくる

気になったウェブ上の記事や論文をまとめて自分用に知識を構造化したいですが、紙のノートは後からカットペーストして整理するのに不向きだし、ブログは構造がブログだし、Qiita は他の人に役立つことを意識したものだし記事をずっとインクリメントしていく…

雑記

Qiita に投稿しましたが、後半文字だらけで見づらいのと、肝心なHTMLソース部分の説明がないので後日絵や解説を入れるなどリファクタリングできたらいいなあと思います。qiita.com 後半文字だらけで見づらいですが、この分野を知らない人にもわかるようにど…

雑記: 最近のふぁぼより

後で読もうとふぁぼって結局読まないこととかあると思います。なので最近どんなことをふぁぼったか復習してみたんですが結局まだ読んでいません。 「A Distributional Perspective on Reinforcement Learning」 「Reducing Dimensionality from Dimensionali…

雑記

Anaconda 環境を利用した Windows への Keras (TensorFlow backend) 導入 さらに Anaconda 環境への OpenCV の導入 OpenCV で動画作成 Anaconda 環境を利用した Windows への Keras (TensorFlow backend) 導入 以下の記事の手順でできました。 qiita.com今回…

雑記

データを分析するとき、取り込んだままのデータの列をそのままつかうのではなくて、元々あった列をもとに新しい列をつくることとかあると思います。でも Python とかよくわからないので Google 検索してどうやって加工するか調べると思います。例えば、元々…

雑記: sklearn.cluster.KMeans で k-means 法

sklearn.cluster.KMeans をつかってみたいときとかあると思います。iris データにつかうと以下のようになります。 # -*- coding: utf-8 -*- import pandas from sklearn import datasets from sklearn.cluster import KMeans from sklearn.metrics import co…

雑記: Keras で自作レイヤー(Dense)

Keras でオリジナルの自作レイヤーを追加したいときとかあると思います。 自作レイヤー自体は以下の記事でつかったことがありますが、これはウェイトをもつレイヤーではなく、最後にかぶせて損失関数のみをカスタマイズするためのレイヤーでした。 Keras で…

雑記: 対象日付が米国サマータイム期間か判定(R, Python)

時刻カラムがあるようなデータのプレ処理で、各レコードが米国サマータイム期間かどうか自動判定したいときとかあると思います。サマータイムかそうでないかで東京とニューヨークの時差が違うからね。 とりわけ、時刻カラムのタイムゾーンは日本時間なのです…

雑記: 交差エントロピーって何

機械学習をしているとよく交差エントロピーを最小化させられると思います。 でも冷静に考えると交差エントロピーが何かよくわかりませんでした。むしろエントロピーがわかりませんでした。 以下の記事を読み、もっと無理がない例で短くまとめたかったのです…