雑記

雑記

以下の記事を投稿しました。 上の記事の「凸関数の最小点の勾配が満たす必要十分条件」のパートで、雑記: KKT条件の話で「証明はここでは割愛します。」といっていた箇所の証明をしています(上の記事では凸関数を仮定しているので必要十分条件になっていま…

雑記: NeurIPS 2020 pre-proceedings の「シーケンス」を含むタイトル(※)

キャラクターは架空のものです。何かありましたらご指摘いただけますと幸いです。参考文献 NeurIPS 2020 pre-proceedings 関連記事 雑記: NeurIPS 2020 pre-proceedings の「時系列」を含むタイトル - クッキーの日記 雑記: NeurIPS 2019 Proceedings の「…

雑記: NeurIPS 2020 pre-proceedings の「時系列」を含むタイトル

キャラクターは架空のものです。何かありましたらご指摘いただけますと幸いです。参考文献 NeurIPS 2020 pre-proceedings 関連記事 雑記: NeurIPS 2019 Proceedings の「時系列」を含むタイトル - クッキーの日記 NeurIPS 2020 pre-proceedings をみるとタ…

雑記: BERTが何をしているかを掘り下げる

BERTが何をしているかを掘り下げる 貼り付けた Gist の幅では まとめ の箇所が改行されるのでコピペすると以下。 モデル: 埋め込み層: 文章内の各トークンの単語を1024次元に埋め込む. 文章内の各トークンの位置を1024次元に埋め込む. 文章内の各トーク…

雑記

bert-large-cased のパラメータ数は 340M とある。 Pretrained models — transformers 3.1.0 documentation → 333579264 だった。 script.py · GitHub ----------- モデルの埋め込み層 ---------- word_embeddings.weight 29691904 position_embeddings.weig…

雑記

一昨日と昨日の記事を Git に移行した。 GitHub - CookieBox26/ML: machine learning tests/test_bert_tokenization.py; トークナイザの挙動の確認をテストにした。 script.py; モデルのコンフィグレーションと構造をプリントしただけ。 語数が 28996 だっ…

雑記

transformers で学習済みの BERT モデルから固有表現抽出用のモデルインスタンスをつくるまでだけです。 → GitHub に移行しました。GitHub - CookieBox26/ML: machine learning コード 出力 Python環境 コード import torch from transformers import ( Bert…

雑記

transformers で学習済みの BERT モデルから固有表現抽出用のモデルインスタンスをつくるまでだけです。 → 改善版(2020-09-16) → GitHub に移行しました。GitHub - CookieBox26/ML: machine learning from transformers import ( BertConfig, BertForToken…

雑記: transformers の examples/token-classification を実行するだけ

以下の transformers リポジトリの固有表現抽出タスクの例(WNUT’17 データの方)を実行するだけです。 https://github.com/huggingface/transformers/tree/master/examples/token-classification 但し、使用する学習済みモデルを bert-large-cased にすると…

雑記

雑記

雑記

文字レベル Penn Treebank 用のデータの読み込みと、TrellisNet に適当なテンソルを流しているだけです。

雑記

マンテル・ヘンツェル検定の検定統計量の導出が原論文をあたったら詳しくあるだろうかと思ったんですが結構一瞬で終わっていたと思います。ただマンテル・ヘンツェル検定の原論文では共通オッズ比の推定量の話も大事だと思います。参考文献 http://www.medic…

雑記

以下の記事を読みます。From GRU to Transformer - Sewade Ogun's Websiteその他の参考文献 Transformer の原論文: [1706.03762] Attention Is All You Need 他の観点からの Transformer の解説: The Illustrated Transformer – Jay Alammar – Visualizing…

雑記: ネイマン-ピアソンの補題とカーリン-ルビンの定理

参考文献 日本統計学会公式認定 統計検定1級対応 統計学 | 二宮嘉行, 大西俊郎, 小林 景, 椎名 洋, 笛田 薫, 田中研太郎, 岡田謙介, 大屋幸輔, 廣瀬英雄, 折笠秀樹, 日本統計学会, 竹村彰通, 岩崎学 |本 | 通販 | Amazon ネイマン・ピアソンの補題 - Wikiped…

雑記: ダルモア・スキットビッチ定理の証明

参考文献(この記事はほとんどこの文献の内容のまま): http://ee.sharif.edu/~bss/DarmoisTheorem.pdf統計的因果探索手法の LiNGAM で実際に因果グラフを推測するアプローチの一つに、「正しくない因果的順序で回帰すると(原因の変数を結果の変数で回帰す…

雑記: t分布の話

キャラクターは架空のものです。お気付きの点がありましたらご指摘いただけますと幸いです。参考文献 24-3. 2標本t検定とは | 統計学の時間 | 統計WEB ― 2標本t検定の話があります。 Student's t-distribution - Wikipedia ― t分布を発表された方の顔写真が…

雑記: numpy.fft の話

キャラクターは架空のものです。お気付きの点がありましたらご指摘いただけますと幸いです。全体的に離散フーリエ変換の備忘メモであり、高速フーリエ変換の原理の話は全くありません。参考文献 Discrete Fourier Transform (numpy.fft) — NumPy v1.17 Manua…

雑記: サンプリング定理の話(その2)

キャラクターは架空のものです。お気付きの点がありましたらご指摘いただけますと幸いです。参考文献 Nyquist–Shannon sampling theorem - Wikipedia Fourier transform - Wikipedia 前回: 雑記: サンプリング定理の話前回は、関数 が 以上の周波数成分を…

雑記: サンプリング定理の話

キャラクターは架空のものです。おかしい点がありましたらご指摘いただけますと幸いです。参考文献 Nyquist–Shannon sampling theorem - Wikipedia Nyquist–Shannon sampling theorem - Wikipedia に以下のようにあります。関数 が ヘルツを超える周波数を含…

雑記: レーティングのベイズ的解釈の話

キャラクターは架空のものです。お気付きの点がありましたらご指摘いただけますと幸いです。一昨日、佐藤和俊七段が渡辺明三冠に勝利して、以下のサイトでの両者のレーティングが 変化しましたね。以下のサイトでのイロレーティングの定数値 は ですから、一…

雑記: NeurIPS 2019 Proceedings の「不確か」を含むタイトル

キャラクターは架空のものです。何かありましたらご指摘いただけますと幸いです。参考文献 NeurIPS 2019 Proceedings NeurIPS 2019 Proceedings のサイトをみるとタイトルに uncertain を含む発表が…17件もありますね。上から順にメモしていきますか…面倒で…

雑記: NeurIPS 2019 Proceedings の「時系列」を含むタイトル

キャラクターは架空のものです。何かありましたらご指摘いただけますと幸いです。参考文献 NeurIPS 2019 Proceedings NeurIPS 2019 Proceedings のサイトをみるとタイトルに time series を含む発表が…11件もありますね。上から順にメモしていきますか…面倒…

雑記: 経験過程の話

ブラウン橋? なぜ橋なんていうんです? 私も適当な確率過程に「瀬戸大橋」などと名付けてよいのですか??

雑記: 中心極限定理の話

キャラクターは架空のものです。おかしい点がありましたらご指摘いただけますと幸いです。参考文献 中心極限定理 - Wikipedia を独立に同一の分布にしたがう確率変数たちとします(面倒なので真の分布の平均は とし、分散は とします)。「 の和を で割った…

雑記: fastText のチュートリアルをやるだけ

インストール 複数のラベルが付いた文章を分類する データの取得 分類器の学習 分類器による予測 分類器の評価 その他の機能 複数のラベルが付いた文章を分類する(プレ処理とハイパーパラメータの変更) 複数のラベルが付いた文章を分類する(オートチュー…

雑記: 反復法の話

おかしい点がありましたらご指摘いただけますと幸いです。 ※ キャラクターは架空のものです。連立一次方程式の数値解法にヤコビ法ってありますよね。連立一次方程式を解くアルゴリズムの中でも反復法といわれるものだね。 の右辺を の対角成分だけ取り残して…

雑記: システムの可制御性・可観測性の話

おかしい点がありましたらご指摘いただけますと幸いです。参考文献 線形システム論 可制御性・可観測性の講義資料がありました。 可制御性・可観測性 - 初級Mathマニアの寝言 この方の記事のように正準分解形までいきたかったのですがはるか手前で力尽きまし…

雑記: 1の分割の話

お気付きの点がありましたらご指摘いただけますと幸いです。全体的に参考文献 3. がないと(あっても)意味がわかりません。参考文献 1の分割 - Wikipedia パラコンパクト空間 - Wikipedia 多様体の基礎 (基礎数学) | 松本 幸夫 |本 | 通販 | Amazon ※ キャ…

雑記: KKT条件の話

お気付きの点がありましたらご指摘いただけますと幸いです。全体的にきちんとした証明を欠きます。参考文献 機械学習のための連続最適化 (機械学習プロフェッショナルシリーズ) | 金森 敬文, 鈴木 大慈, 竹内 一郎, 佐藤 一誠 |本 | 通販 | Amazon 162ページ…