雑記

雑記

キャラクターの原作とは無関係です。お気付きの点がありましたらご指摘いただけますと幸いです。 TFIDFSimilarity (Lucene 7.4.0 API) BM25Similarity (Lucene 7.4.0 API) 例えば僕たちのカードの中で「焼き芋」に関連するカードを探したいとします。普通に…

雑記

お気付きの点がありましたらご指摘いただけますと幸いです。Mehryar Mohri -- Foundations of Machine Learning - Book参考文献1. は序文を読むと、機械学習のトピックを理論的基盤から紹介する本なのですね。但しグラフィカルモデルやニューラルネットにつ…

雑記: 連続的に変化する状態を捉えたい話(仮題)

キャラクターの原作とは無関係です。お気付きの点がありましたらご指摘いただけますと幸いです。James Morrill, Cristopher Salvi, Patrick Kidger, James Foster, Terry Lyons. Neural Rough Differential Equations for Long Time Series. arXiv preprint …

雑記

お気付きの点がありましたらご指摘いただけますと幸いです。Haoyi Zhou, Shanghang Zhang, Jieqi Peng, Shuai Zhang, Jianxin Li, Hui Xiong, Wancai Zhang. Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting. arXiv prep…

雑記

クロネッカー積と行列積の混合積の公式 を成分でかいただけです. 定義1(クロネッカー積) 命題1(クロネッカー積と行列積の混合積の公式) 命題1の証明0(ブロックごとに行列積をとる) 定義1'(クロネッカー積の成分;通常のインデックスでアクセス) 定…

雑記: 単語分散表現の話

word2vecとGloVeが、前者が predicting で後者が counting といわれたり、結果として得られる「女王王女性男性」という関係式が直感的でめでたしめでたしとなったりしていると思うんですが、どちらも predict しているのではないのかとか、何が直感的なのか…

雑記: 分散共分散行列のベイズ更新の話

2021-02-02 絵を追加しました。いろいろな場面(カルマンフィルタ、ガウス過程回帰など、直接観測できない何かの分布をその線形変換の観測からベイズ更新する場面)で以下の問が出てくると思います。 は確率ベクトルでその事前分布は平均 で分散共分散行列が…

雑記: モデルをアンサンブルしたい話(その2―カステラ本7.11節、8.2節、8.4節、8.8節、10.1~10.4節)

私の誤りは私に帰属します。お気付きの点がありましたらお手数ですがご指摘いただけますと幸いです。テキスト(カステラ本) 統計的学習の基礎 ―データマイニング・推論・予測― | Trevor Hastie, Robert Tibshirani, Jerome Friedman, 杉山 将, 井手 剛, 神…

雑記: モデルをアンサンブルしたい話(その1―カステラ本7.3節、8.7節)

私の誤りは私に帰属します。お気付きの点がありましたらお手数ですがご指摘いただけますと幸いです。テキスト(カステラ本) 統計的学習の基礎 ―データマイニング・推論・予測― | Trevor Hastie, Robert Tibshirani, Jerome Friedman, 杉山 将, 井手 剛, 神…

雑記: モデルを選択したい話(カステラ本7.4節~7.7節)

私の誤りは私に帰属します。お気付きの点がありましたらお手数ですがご指摘いただけますと幸いです。テキスト(カステラ本) 統計的学習の基礎 ―データマイニング・推論・予測― | Trevor Hastie, Robert Tibshirani, Jerome Friedman, 杉山 将, 井手 剛, 神…

雑記

以下の記事を投稿しました。 上の記事の「凸関数の最小点の勾配が満たす必要十分条件」のパートで、雑記: KKT条件の話で「証明はここでは割愛します。」といっていた箇所の証明をしています(上の記事では凸関数を仮定しているので必要十分条件になっていま…

雑記: NeurIPS 2020 pre-proceedings の「シーケンス」を含むタイトル(※)

キャラクターは架空のものです。何かありましたらご指摘いただけますと幸いです。参考文献 NeurIPS 2020 pre-proceedings 関連記事 雑記: NeurIPS 2020 pre-proceedings の「時系列」を含むタイトル - クッキーの日記 雑記: NeurIPS 2019 Proceedings の「…

雑記: NeurIPS 2020 pre-proceedings の「時系列」を含むタイトル

キャラクターは架空のものです。何かありましたらご指摘いただけますと幸いです。参考文献 NeurIPS 2020 pre-proceedings 関連記事 雑記: NeurIPS 2019 Proceedings の「時系列」を含むタイトル - クッキーの日記 NeurIPS 2020 pre-proceedings をみるとタ…

雑記: BERTが何をしているかを掘り下げる

BERTが何をしているかを掘り下げる 貼り付けた Gist の幅では まとめ の箇所が改行されるのでコピペすると以下。 モデル: 埋め込み層: 文章内の各トークンの単語を1024次元に埋め込む. 文章内の各トークンの位置を1024次元に埋め込む. 文章内の各トーク…

雑記

bert-large-cased のパラメータ数は 340M とある。 Pretrained models — transformers 3.1.0 documentation → 333579264 だった。 script.py · GitHub ----------- モデルの埋め込み層 ---------- word_embeddings.weight 29691904 position_embeddings.weig…

雑記

一昨日と昨日の記事を Git に移行した。 GitHub - CookieBox26/ML: machine learning tests/test_bert_tokenization.py; トークナイザの挙動の確認をテストにした。 script.py; モデルのコンフィグレーションと構造をプリントしただけ。 語数が 28996 だっ…

雑記

transformers で学習済みの BERT モデルから固有表現抽出用のモデルインスタンスをつくるまでだけです。 → GitHub に移行しました。GitHub - CookieBox26/ML: machine learning コード 出力 Python環境 コード import torch from transformers import ( Bert…

雑記

transformers で学習済みの BERT モデルから固有表現抽出用のモデルインスタンスをつくるまでだけです。 → 改善版(2020-09-16) → GitHub に移行しました。GitHub - CookieBox26/ML: machine learning from transformers import ( BertConfig, BertForToken…

雑記: transformers の examples/token-classification を実行するだけ

以下の transformers リポジトリの固有表現抽出タスクの例(WNUT’17 データの方)を実行するだけです。 https://github.com/huggingface/transformers/tree/master/examples/token-classification 但し、使用する学習済みモデルを bert-large-cased にすると…

雑記

雑記

雑記

文字レベル Penn Treebank 用のデータの読み込みと、TrellisNet に適当なテンソルを流しているだけです。

雑記

マンテル・ヘンツェル検定の検定統計量の導出が原論文をあたったら詳しくあるだろうかと思ったんですが結構一瞬で終わっていたと思います。ただマンテル・ヘンツェル検定の原論文では共通オッズ比の推定量の話も大事だと思います。参考文献 http://www.medic…

雑記

以下の記事を読みます。From GRU to Transformer - Sewade Ogun's Websiteその他の参考文献 Transformer の原論文: [1706.03762] Attention Is All You Need 他の観点からの Transformer の解説: The Illustrated Transformer – Jay Alammar – Visualizing…

雑記: ネイマン-ピアソンの補題とカーリン-ルビンの定理

参考文献 日本統計学会公式認定 統計検定1級対応 統計学 | 二宮嘉行, 大西俊郎, 小林 景, 椎名 洋, 笛田 薫, 田中研太郎, 岡田謙介, 大屋幸輔, 廣瀬英雄, 折笠秀樹, 日本統計学会, 竹村彰通, 岩崎学 |本 | 通販 | Amazon ネイマン・ピアソンの補題 - Wikiped…

雑記: ダルモア・スキットビッチ定理の証明

参考文献(この記事はほとんどこの文献の内容のまま): http://ee.sharif.edu/~bss/DarmoisTheorem.pdf統計的因果探索手法の LiNGAM で実際に因果グラフを推測するアプローチの一つに、「正しくない因果的順序で回帰すると(原因の変数を結果の変数で回帰す…

雑記: t分布の話

キャラクターは架空のものです。お気付きの点がありましたらご指摘いただけますと幸いです。参考文献 24-3. 2標本t検定とは | 統計学の時間 | 統計WEB ― 2標本t検定の話があります。 Student's t-distribution - Wikipedia ― t分布を発表された方の顔写真が…

雑記: numpy.fft の話

キャラクターは架空のものです。お気付きの点がありましたらご指摘いただけますと幸いです。全体的に離散フーリエ変換の備忘メモであり、高速フーリエ変換の原理の話は全くありません。参考文献 Discrete Fourier Transform (numpy.fft) — NumPy v1.17 Manua…

雑記: サンプリング定理の話(その2)

キャラクターは架空のものです。お気付きの点がありましたらご指摘いただけますと幸いです。参考文献 Nyquist–Shannon sampling theorem - Wikipedia Fourier transform - Wikipedia 前回: 雑記: サンプリング定理の話前回は、関数 が 以上の周波数成分を…

雑記: サンプリング定理の話

キャラクターは架空のものです。おかしい点がありましたらご指摘いただけますと幸いです。参考文献 Nyquist–Shannon sampling theorem - Wikipedia Nyquist–Shannon sampling theorem - Wikipedia に以下のようにあります。関数 が ヘルツを超える周波数を含…