参考文献 GitHub - lucidrains/performer-pytorch: An implementation of Performer, a linear attention-based transformer, in Pytorch（2022年4月30日参照）． GitHub - idiap/fast-transformers: Pytorch library for fast transformer implementations…

参考文献 GitHub - lucidrains/performer-pytorch: An implementation of Performer, a linear attention-based transformer, in Pytorch（2022年4月29日参照）． performer_pytorch（v1.1.4）をインストールして以下のようにするとモデルにデータを流せるよ…

参考文献 GitHub - lucidrains/reformer-pytorch: Reformer, the efficient Transformer, in Pytorch（2022年4月28日参照）． reformer_pytorch（v1.4.4）は以下のような構造をしているのがわかる。 LSHSelfAttention が何なのかというのが肝心であるが、通…

参考文献 Flax 2 ("Linen") - Colaboratory（2022年4月27日参照）． JAX/Flaxを使ってMNISTを学習させてみる | TC3株式会社（2022年4月27日参照）． Flax でニューラルモデルにデータを流すのは以下のようにやることになるということです。 JAX では乱数を生…

参考文献 Python + NumPy: 乱数生成のシード(RandomState)をちゃんと管理する - 物理の駅 by 現役研究者（2022年4月26日参照）． Mersenne Twister - Wikipedia（2022年4月26日参照）． メルセンヌ・ツイスタの記事だが日本語版と違って図解と疑似コードがあ…

差の差の分析の話というか Python の statsmodels.formula.api.glm は R 言語の glm と違って被説明変数が集約されているときはつかえないのだろうかという話だが、集約しなければいいので何も本質的ではないし、集約されていてもつかえるのに見落としている…

◆ 母集団分布という言葉がある。英語では population distribution らしい。しかし、population distribution で検索すると（ある国の地域ごとや年齢ごとの）人口の分布が出てくるケースが多い。それはそれとして母集団分布とは、母集団の分布であるらしい。…

お気付きの点がありましたらご指摘いただけますと幸いです。jax.random.PRNGKey — JAX documentationhttps://colab.research.google.com/github/google/jax/blob/main/docs/jax-101/05-random-numbers.ipynb#scrollTo=5kVpfSV5n1d7 💜 Numpy の疑似乱数は、同…

お気付きの点がありましたらご指摘いただけますと幸いです。jax.random.PRNGKey — JAX documentationhttps://colab.research.google.com/github/google/jax/blob/main/docs/jax-101/05-random-numbers.ipynb#scrollTo=5kVpfSV5n1d7 Flax でニューラルモデル…

当ブログ内の参考文献の書式には揺れがある。標準の書式を検討したい。検討中である。 この記事の参考文献 よく知られている参考文献の書式 参考文献の書式の検討 よく参照するソースの書式の検討 この記事の参考文献 On the Nystrom Method for Approximati…

※ この記事には（他の記事にも）推測を含みます。お気付きの点がありましたらご指摘いただけますと幸いです。要約： 筆者が混乱していただけだが、NeurIPS は「第何回の会議か」と「会議録の番号」がずれている。オンライン版会議録のトップページをスクロー…

お気付きの点がありましたらご指摘いただけますと幸いです。tf.data を使ったテキストの読み込み | TensorFlow Core雑記 - クッキーの日記（前回） 昨日文章を数値列化する方法はわかったので、参考文献 [1] の要領で全データをバッチ化し訓練すればよさそう…

お気付きの点がありましたらご指摘いただけますと幸いです。https://www.tensorflow.org/datasets/catalog/imdb_reviews https://tensorflow.google.cn/tutorials/load_data/text?hl=ja tfds.deprecated.text.Tokenizer | TensorFlow Datasets tfds.deprecat…

お気付きの点がありましたらご指摘いただけますと幸いです。https://pytorch.org/get-started/locally/ WSL2 + Ubuntu20.04 + CUDA 11.6 + cuDNN v8.2.0 環境に PyTorch を入れたいです。native Windows 側には既に PyTorch が入っているのですが、PyTorch …

参考文献 日本統計学会 編. 日本統計学会公式認定統計検定 統計検定1級対応 統計学. 東京図書株式会社, 2013. 107ページ（ページ数は初版第3刷）に分散の同等性の検定がある。ただし 96 ページの尤度比検定による検定の構成の例でも登場している。 井手 剛. …

お気付きの点がありましたらご指摘いただけますと幸いです。https://github.com/tensorflow/texthttps://www.tensorflow.org/texthttps://github.com/google/flaxhttps://flax.readthedocs.io/en/latest/installation.html TensorFlow は、WSL2 + Ubuntu20.0…

お気付きの点がありましたらご指摘いただけますと幸いです。Efficiently Modeling Long Sequences with Structured State Spaces | OpenReview（In ICLR 2022）Combining Recurrent, Convolutional, and Continuous-time Models with Linear State Space Lay…

お気付きの点がありましたらご指摘いただけますと幸いです。Statistical Tests Won’t Help You to Compare Distributions | by Samuele Mazzanti | Apr, 2022 | Towards Data Science💜 [1] の記事は、手元のデータが以下のようになっているとき、「アメリカの…

参考文献 gin-config/docs at fb517ee61e4a4ce5703f2a156d0edd873c699c0c · google/gin-config · GitHub 以下のようにするとクラスのコンストラクタの引数にデフォルト値を注入できます。 hoge.py で Onigiri クラスを実装します。 config.gin に Onigiri ク…

この記事シリーズは目的が未達成です。お気付きの点がありましたらご指摘いただけますと幸いです。https://github.com/google/trax/tree/v1.4.1/trax/models/reformer雑記 - クッキーの日記（前回） 前回、最新の Trax (v1.4.1) を導入した上でリポジトリの…

2022-04-12 認識がおかしかったので修正します。冒頭に絵を追加しました。 参考文献 css position stickyが効かない時の解決策！Flex-box使用時に効かなくなる？ – CHEATPARK – 神戸三宮のシステム開発会社CHEAT. https://cheat.co.jp/blog/archives/1896（…

参考文献 Toeplitz matrix - Wikipedia. https://en.wikipedia.org/wiki/Toeplitz_matrix（参照日 2022年4月9日）. Circulant matrix - Wikipedia. https://en.wikipedia.org/wiki/Circulant_matrix（参照日 2022年4月9日）. R. M. Gray, Toeplitz and Circu…

この記事（及びつづきの記事）は目的が未達成です。モデルのインスタンス化しかしていません。お気付きの点がありましたらご指摘いただけますと幸いです。https://github.com/google/trax/tree/v1.4.1/trax/models/reformer雑記 - クッキーの日記（次回） Re…

参考文献 GitHub - google/jax: Composable transformations of Python+NumPy programs: differentiate, vectorize, JIT to GPU/TPU, and more GitHub - google/trax: Trax — Deep Learning with Clear Code and Speed CUDA 11.6 + cuDNN v8.2.0 on Ubuntu20…

参考文献 CUDA on WSL :: CUDA Toolkit Documentation WslRegisterDistribution failed with error: 0x800701bc - Qiita GPU in Windows Subsystem for Linux (WSL) | NVIDIA Developer CUDA Toolkit 11.6 Update 2 Downloads | NVIDIA Developer cuDNN Arch…

この日記は WSL + CUDA 環境を構築しようとしているが以下の 2 点を怠っているために失敗している。Windows 11 もしくは Windows 10 version 21H2 をインストールする。 NVIDIA CUDA on WSL driver をインストールする。自分では前者が満たされていなかった…

お気付きの点がありましたらご指摘いただけますと幸いです。 [2001.04451] Reformer: The Efficient Transformer https://github.com/google/trax/tree/master/trax/models/reformer 以前の記事に Reformer について以下の記述が残されていたのですが、読み…

2022-04-05 解釈がおかしいのでそのうち修正します。改行がおかしいのは修正できません。 参考文献 井手 剛. 入門 機械学習による異常検知―Rによる実践ガイド―. コロナ社, 2015. 入門 機械学習による異常検知―Rによる実践ガイド： ノート2 - クッキーの日記 …

参考文献 福水 健次. カーネル法入門. 朝倉書店, 2010. [1] の 59 ページのアルゴリズムをかこうとして R が下三角になっていってほしいが途中である。 import numpy as np def imcomplete_cholesky(A): R = np.diag(np.diag(A)) A_dash = A.copy() P = np.i…

2022-04-02 加筆しました。 2022-04-03 加筆しました。 参考文献 linear algebra - How to prove the existence and uniqueness of Cholesky decomposition? - Mathematics Stack Exchange. https://math.stackexchange.com/questions/2509810/how-to-prove-…