雑記

キャラクターの原作とは無関係です。お気付きの点がありましたらご指摘いただけますと幸いです。 TFIDFSimilarity (Lucene 7.4.0 API) BM25Similarity (Lucene 7.4.0 API) 例えば僕たちのカードの中で「焼き芋」に関連するカードを探したいとします。普通に…

雑記

お気付きの点がありましたらご指摘いただけますと幸いです。Mehryar Mohri -- Foundations of Machine Learning - Book参考文献1. は序文を読むと、機械学習のトピックを理論的基盤から紹介する本なのですね。但しグラフィカルモデルやニューラルネットにつ…

雑記: 連続的に変化する状態を捉えたい話(仮題)

キャラクターの原作とは無関係です。お気付きの点がありましたらご指摘いただけますと幸いです。James Morrill, Cristopher Salvi, Patrick Kidger, James Foster, Terry Lyons. Neural Rough Differential Equations for Long Time Series. arXiv preprint …

雑記

お気付きの点がありましたらご指摘いただけますと幸いです。Haoyi Zhou, Shanghang Zhang, Jieqi Peng, Shuai Zhang, Jianxin Li, Hui Xiong, Wancai Zhang. Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting. arXiv prep…

雑記

クロネッカー積と行列積の混合積の公式 を成分でかいただけです. 定義1(クロネッカー積) 命題1(クロネッカー積と行列積の混合積の公式) 命題1の証明0(ブロックごとに行列積をとる) 定義1'(クロネッカー積の成分;通常のインデックスでアクセス) 定…

Time Series Analysis: ノート10章 弱定常ベクトル過程(その2)

以下の本の10章を読みます。私の誤りは私に帰属します。お気付きの点がありましたらご指摘いただけますと幸いです。Time Series Analysis作者:Hamilton, James D.発売日: 1994/01/11メディア: ハードカバーその他の参考文献 経済・ファイナンスデータの計量…

Time Series Analysis: ノート10章 弱定常ベクトル過程(その1)

以下の本の10章を読みます。私の誤りは私に帰属します。お気付きの点がありましたらご指摘いただけますと幸いです。Time Series Analysis作者:Hamilton, James D.発売日: 1994/01/11メディア: ハードカバーその他の参考文献 経済・ファイナンスデータの計量…

雑記: 単語分散表現の話

word2vecとGloVeが、前者が predicting で後者が counting といわれたり、結果として得られる「女王王女性男性」という関係式が直感的でめでたしめでたしとなったりしていると思うんですが、どちらも predict しているのではないのかとか、何が直感的なのか…

論文読みメモ: Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting

2021-02-14 3枚目の絵を修正しました。以下の論文を読みます。私の誤りは私に帰属します。お気付きの点がありましたらご指摘いただけますと幸いです。Haoyi Zhou, Shanghang Zhang, Jieqi Peng, Shuai Zhang, Jianxin Li, Hui Xiong, Wancai Zhang. Informer…

雑記: 分散共分散行列のベイズ更新の話

2021-02-02 絵を追加しました。いろいろな場面(カルマンフィルタ、ガウス過程回帰など、直接観測できない何かの分布をその線形変換の観測からベイズ更新する場面)で以下の問が出てくると思います。 は確率ベクトルでその事前分布は平均 で分散共分散行列が…

GPML: ノート1(1章、2.1節)

以下の本を読みます。私の誤りは私に帰属します。お気付きの点がありましたらご指摘いただけますと幸いです。www.gaussianprocess.org キャラクターの原作とは無関係です。「訓練データ から任意の未知の点 の値をどう予測すればよいか」という問を考えまし…

雑記: モデルをアンサンブルしたい話(その2―カステラ本7.11節、8.2節、8.4節、8.8節、10.1~10.4節)

私の誤りは私に帰属します。お気付きの点がありましたらお手数ですがご指摘いただけますと幸いです。テキスト(カステラ本) 統計的学習の基礎 ―データマイニング・推論・予測― | Trevor Hastie, Robert Tibshirani, Jerome Friedman, 杉山 将, 井手 剛, 神…

雑記: モデルをアンサンブルしたい話(その1―カステラ本7.3節、8.7節)

私の誤りは私に帰属します。お気付きの点がありましたらお手数ですがご指摘いただけますと幸いです。テキスト(カステラ本) 統計的学習の基礎 ―データマイニング・推論・予測― | Trevor Hastie, Robert Tibshirani, Jerome Friedman, 杉山 将, 井手 剛, 神…

雑記: モデルを選択したい話(カステラ本7.4節~7.7節)

私の誤りは私に帰属します。お気付きの点がありましたらお手数ですがご指摘いただけますと幸いです。テキスト(カステラ本) 統計的学習の基礎 ―データマイニング・推論・予測― | Trevor Hastie, Robert Tibshirani, Jerome Friedman, 杉山 将, 井手 剛, 神…

NeurIPS2020読みメモ: Adversarial Sparse Transformer for Time Series Forecasting

以下の論文を読みます。キャラクターの原作とは無関係です。私の誤りは私に帰属します。お気付きの点がありましたらご指摘ください。Sifan Wu, Xi Xiao, Qianggang Ding, Peilin Zhao, Ying Wei, Junzhou Huang. Adversarial Sparse Transformer for Time Se…

雑記

以下の記事を投稿しました。 上の記事の「凸関数の最小点の勾配が満たす必要十分条件」のパートで、雑記: KKT条件の話で「証明はここでは割愛します。」といっていた箇所の証明をしています(上の記事では凸関数を仮定しているので必要十分条件になっていま…

Time Series Analysis: ノート5章 最尤推定(その2)

以下の本の5章を読みます。キャラクターは架空のものです。私の誤りは私に帰属します。お気付きの点がありましたらコメントでご指摘いただけますと幸いです。 Time Series Analysis作者:Hamilton, James D.発売日: 1994/01/11メディア: ハードカバー 前回: …

論文読みメモ: Trellis Networks for Sequence Modeling(その1)

以下の論文を読みます。Shaojie Bai, J. Z. Kolter, V. Koltun. Trellis Networks for Sequence Modeling. In 7th International Conference on Learning Representations, ICLR 2019, 2019. [1810.06682] Trellis Networks for Sequence Modeling前回: 雑…

雑記: NeurIPS 2020 pre-proceedings の「シーケンス」を含むタイトル(※)

キャラクターは架空のものです。何かありましたらご指摘いただけますと幸いです。参考文献 NeurIPS 2020 pre-proceedings 関連記事 雑記: NeurIPS 2020 pre-proceedings の「時系列」を含むタイトル - クッキーの日記 雑記: NeurIPS 2019 Proceedings の「…

雑記: NeurIPS 2020 pre-proceedings の「時系列」を含むタイトル

キャラクターは架空のものです。何かありましたらご指摘いただけますと幸いです。参考文献 NeurIPS 2020 pre-proceedings 関連記事 雑記: NeurIPS 2019 Proceedings の「時系列」を含むタイトル - クッキーの日記 NeurIPS 2020 pre-proceedings をみるとタ…

Time Series Analysis: ノート5章 最尤推定(その1)

以下の本の5章を読みます。キャラクターは架空のものです。私の誤りは私に帰属します。お気付きの点がありましたらコメントでご指摘いただけますと幸いです。 Time Series Analysis作者:Hamilton, James D.発売日: 1994/01/11メディア: ハードカバー5章はそ…

雑記: BERTが何をしているかを掘り下げる

BERTが何をしているかを掘り下げる 貼り付けた Gist の幅では まとめ の箇所が改行されるのでコピペすると以下。 モデル: 埋め込み層: 文章内の各トークンの単語を1024次元に埋め込む. 文章内の各トークンの位置を1024次元に埋め込む. 文章内の各トーク…

雑記

bert-large-cased のパラメータ数は 340M とある。 Pretrained models — transformers 3.1.0 documentation → 333579264 だった。 script.py · GitHub ----------- モデルの埋め込み層 ---------- word_embeddings.weight 29691904 position_embeddings.weig…

雑記

一昨日と昨日の記事を Git に移行した。 GitHub - CookieBox26/ML: machine learning tests/test_bert_tokenization.py; トークナイザの挙動の確認をテストにした。 script.py; モデルのコンフィグレーションと構造をプリントしただけ。 語数が 28996 だっ…

雑記

transformers で学習済みの BERT モデルから固有表現抽出用のモデルインスタンスをつくるまでだけです。 → GitHub に移行しました。GitHub - CookieBox26/ML: machine learning コード 出力 Python環境 コード import torch from transformers import ( Bert…

雑記

transformers で学習済みの BERT モデルから固有表現抽出用のモデルインスタンスをつくるまでだけです。 → 改善版(2020-09-16) → GitHub に移行しました。GitHub - CookieBox26/ML: machine learning from transformers import ( BertConfig, BertForToken…

雑記: transformers の examples/token-classification を実行するだけ

以下の transformers リポジトリの固有表現抽出タスクの例(WNUT’17 データの方)を実行するだけです。 https://github.com/huggingface/transformers/tree/master/examples/token-classification 但し、使用する学習済みモデルを bert-large-cased にすると…

雑記

雑記

統計的因果推論: ノート2

以下の本を読みます。統計的因果推論―回帰分析の新しい枠組み (シリーズ・予測と発見の科学)作者:宮川 雅巳発売日: 2004/04/01メディア: 単行本前回: ノート1 / 次回: まだ※ キャラクターは架空のものです。私の誤りは私に帰属します。お気付きの点があり…