雑記

雑記

Output appears in "Captured stderr call" but is unavailable in capsys or capfd · Issue #5997 · pytest-dev/pytest · GitHub 以下のように Pokemon というクラスを実装したとします。Pokemon クラスは types を渡してインスタンス化しますが、types の…

雑記

pytest fixtures: explicit, modular, scalable — pytest documentation pytest のフィクスチャとは、以下の擬似コードのように1回だけ yield するジェネレータ関数の形式でテスト時の要請(前処理、ほしいもの、後処理)を登録しておくと、テストに関数名と…

雑記: pytest の monkeypatch の話

pytest でテストをするとき monkeypatch でモジュールや環境変数をモックすると思います。一昨日の記事のように pytest が利用可能な pipenv 環境を構築すると以下の(無意味な)テストが実行できると思います。 import os def test_fuga(monkeypatch): monk…

雑記: パッケージが Windows 非対応だったときにごまかす話

昨日の記事では、並列させたくない処理を並列させないため、この世に1つだけの通行手形を発行するのに fcntl というパッケージを利用しました。しかし、実はこのパッケージは Windows に対応していません。昨日の記事の test.py(ワンオペ版)を Windows で…

雑記: Python の asyncio の話

multiprocessing - How to synchronize between multiple async processes in Python? - Stack Overflow fcntl --- fcntl および ioctl システムコール — Python 3.9.4 ドキュメント 太郎と次郎がレストランに来たとします。2人は知り合いとかではなくただ同…

雑記: Pipfile に指定したパッケージの依存パッケージがプラットフォームに依存するとき→

→プラットフォームによって要不要が分かれる依存パッケージは明示的に Pipfile に記述しなければ Pipfile.lock にそれが必要だという情報が欠ける。 なお、逆に元々プラットフォームによってインストールしたいことを明示しているパッケージに依存パッケージ…

雑記: Pipfile.lock の冒頭のハッシュ値の話

【この記事の内容】Pipfile.lock の冒頭のハッシュ値は、Pipfile のファイルハッシュ値ではなく、Pipfile の内容をキーでソートした JSON 文字列を UTF-8 形式でバイト列にしたもののハッシュ値というだけです。 例えば以下のような Pipfile を記述します。…

RNN を進化戦略で最適化する話(途中)

お気付きの点がありましたらご指摘いただけますと幸いです。Paul Vicol, Luke Metz, Jascha Sohl-Dickstein. Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies. In Proceedings of the 38th Internationa…

雑記

キャラクターの原作とは無関係です。お気付きの点がありましたらご指摘いただけますと幸いです。 TFIDFSimilarity (Lucene 7.4.0 API) BM25Similarity (Lucene 7.4.0 API) 例えば僕たちのカードの中で「焼き芋」に関連するカードを探したいとします。普通に…

雑記

お気付きの点がありましたらご指摘いただけますと幸いです。Mehryar Mohri -- Foundations of Machine Learning - Book参考文献1. は序文を読むと、機械学習のトピックを理論的基盤から紹介する本なのですね。但しグラフィカルモデルやニューラルネットにつ…

雑記: 連続的に変化する状態を捉えたい話(仮題)

キャラクターの原作とは無関係です。お気付きの点がありましたらご指摘いただけますと幸いです。James Morrill, Cristopher Salvi, Patrick Kidger, James Foster, Terry Lyons. Neural Rough Differential Equations for Long Time Series. arXiv preprint …

雑記

お気付きの点がありましたらご指摘いただけますと幸いです。Haoyi Zhou, Shanghang Zhang, Jieqi Peng, Shuai Zhang, Jianxin Li, Hui Xiong, Wancai Zhang. Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting. arXiv prep…

雑記

クロネッカー積と行列積の混合積の公式 を成分でかいただけです. 定義1(クロネッカー積) 命題1(クロネッカー積と行列積の混合積の公式) 命題1の証明0(ブロックごとに行列積をとる) 定義1'(クロネッカー積の成分;通常のインデックスでアクセス) 定…

雑記: 単語分散表現の話

word2vecとGloVeが、前者が predicting で後者が counting といわれたり、結果として得られる「女王王女性男性」という関係式が直感的でめでたしめでたしとなったりしていると思うんですが、どちらも predict しているのではないのかとか、何が直感的なのか…

雑記: 分散共分散行列のベイズ更新の話

2021-02-02 絵を追加しました。いろいろな場面(カルマンフィルタ、ガウス過程回帰など、直接観測できない何かの分布をその線形変換の観測からベイズ更新する場面)で以下の問が出てくると思います。 は確率ベクトルでその事前分布は平均 で分散共分散行列が…

雑記: モデルをアンサンブルしたい話(その2―カステラ本7.11節、8.2節、8.4節、8.8節、10.1~10.4節)

私の誤りは私に帰属します。お気付きの点がありましたらお手数ですがご指摘いただけますと幸いです。テキスト(カステラ本) 統計的学習の基礎 ―データマイニング・推論・予測― | Trevor Hastie, Robert Tibshirani, Jerome Friedman, 杉山 将, 井手 剛, 神…

雑記: モデルをアンサンブルしたい話(その1―カステラ本7.3節、8.7節)

私の誤りは私に帰属します。お気付きの点がありましたらお手数ですがご指摘いただけますと幸いです。テキスト(カステラ本) 統計的学習の基礎 ―データマイニング・推論・予測― | Trevor Hastie, Robert Tibshirani, Jerome Friedman, 杉山 将, 井手 剛, 神…

雑記: モデルを選択したい話(カステラ本7.4節~7.7節)

私の誤りは私に帰属します。お気付きの点がありましたらお手数ですがご指摘いただけますと幸いです。テキスト(カステラ本) 統計的学習の基礎 ―データマイニング・推論・予測― | Trevor Hastie, Robert Tibshirani, Jerome Friedman, 杉山 将, 井手 剛, 神…

雑記

以下の記事を投稿しました。 上の記事の「凸関数の最小点の勾配が満たす必要十分条件」のパートで、雑記: KKT条件の話で「証明はここでは割愛します。」といっていた箇所の証明をしています(上の記事では凸関数を仮定しているので必要十分条件になっていま…

雑記: NeurIPS 2020 pre-proceedings の「シーケンス」を含むタイトル(※)

キャラクターは架空のものです。何かありましたらご指摘いただけますと幸いです。参考文献 NeurIPS 2020 pre-proceedings 関連記事 雑記: NeurIPS 2020 pre-proceedings の「時系列」を含むタイトル - クッキーの日記 雑記: NeurIPS 2019 Proceedings の「…

雑記: NeurIPS 2020 pre-proceedings の「時系列」を含むタイトル

キャラクターは架空のものです。何かありましたらご指摘いただけますと幸いです。参考文献 NeurIPS 2020 pre-proceedings 関連記事 雑記: NeurIPS 2019 Proceedings の「時系列」を含むタイトル - クッキーの日記 NeurIPS 2020 pre-proceedings をみるとタ…

雑記: BERTが何をしているかを掘り下げる

BERTが何をしているかを掘り下げる 貼り付けた Gist の幅では まとめ の箇所が改行されるのでコピペすると以下。 モデル: 埋め込み層: 文章内の各トークンの単語を1024次元に埋め込む. 文章内の各トークンの位置を1024次元に埋め込む. 文章内の各トーク…

雑記

bert-large-cased のパラメータ数は 340M とある。 Pretrained models — transformers 3.1.0 documentation → 333579264 だった。 script.py · GitHub ----------- モデルの埋め込み層 ---------- word_embeddings.weight 29691904 position_embeddings.weig…

雑記

一昨日と昨日の記事を Git に移行した。 GitHub - CookieBox26/ML: machine learning tests/test_bert_tokenization.py; トークナイザの挙動の確認をテストにした。 script.py; モデルのコンフィグレーションと構造をプリントしただけ。 語数が 28996 だっ…

雑記

transformers で学習済みの BERT モデルから固有表現抽出用のモデルインスタンスをつくるまでだけです。 → GitHub に移行しました。GitHub - CookieBox26/ML: machine learning コード 出力 Python環境 コード import torch from transformers import ( Bert…

雑記

transformers で学習済みの BERT モデルから固有表現抽出用のモデルインスタンスをつくるまでだけです。 → 改善版(2020-09-16) → GitHub に移行しました。GitHub - CookieBox26/ML: machine learning from transformers import ( BertConfig, BertForToken…

雑記: transformers の examples/token-classification を実行するだけ

以下の transformers リポジトリの固有表現抽出タスクの例(WNUT’17 データの方)を実行するだけです。 https://github.com/huggingface/transformers/tree/master/examples/token-classification 但し、使用する学習済みモデルを bert-large-cased にすると…

雑記

雑記

雑記

文字レベル Penn Treebank 用のデータの読み込みと、TrellisNet に適当なテンソルを流しているだけです。