雑記
以下の記事を更新した。線形回帰モデル - Cookipedia
参考文献 行列が正則であることの意味と5つの条件 | 高校数学の美しい物語（2022年5月5日参照）． 5 つの条件が同値であるとある。1. との同値性が一番イメージ的にもわかりやすいのが 4. だと思う。つまり、「正則である（逆行列がある）こととその線形変換…
お気付きの点がありましたらご指摘いただけますと幸いです。 R を用いた一般化線形モデル（仮説検定編）：割合データを例に（2022年5月4日参照）． statistics - Asterisk (*) vs. colon (:) in R formulas - Stack Overflow（2022年5月5日参照）． 参考文献…
以下の Pipfle と Pipfile.lock から pipenv を install すると fast_transformer はインストールできた。ただし fast_transformer 以外のパッケージもごちゃごちゃ入っている。ML-on-WSL/Pipfile at f9600f6a5d8e44257b31d428e2cbce7514269744 · CookieBox2…
昨日の記事で以下を実行できるようになったが、なぜ PyPI から pipenv で入れたときは動かなかったのか、pipenv で fast_transoformers は管理できないのか。 $ python >>> import fast_transformers.causal_product.causal_product_cuda 適当なディレクトリ…
手元の環境（CUDA 11.6 + cuDNN v8.2.0 on Ubuntu20.04 on WSL2）では pytorch-fast-transformers を pip でインストールしたところ一部の機能は使用できるようだが fast_transformers.causal_product.causal_product_cuda が import できなかった。手元では…
![はてなブックマーク - 雑記： [PyTorch on WSL2] fast_transformers.causal_product.causal_product_cuda が import できなかったのが解消した話](https://b.hatena.ne.jp/entry/image/https://cookie-box.hatenablog.com/entry/2022/05/01/233928)
参考文献 GitHub - lucidrains/performer-pytorch: An implementation of Performer, a linear attention-based transformer, in Pytorch（2022年4月30日参照）． GitHub - idiap/fast-transformers: Pytorch library for fast transformer implementations…
参考文献 GitHub - lucidrains/performer-pytorch: An implementation of Performer, a linear attention-based transformer, in Pytorch（2022年4月29日参照）． performer_pytorch（v1.1.4）をインストールして以下のようにするとモデルにデータを流せるよ…
参考文献 GitHub - lucidrains/reformer-pytorch: Reformer, the efficient Transformer, in Pytorch（2022年4月28日参照）． reformer_pytorch（v1.4.4）は以下のような構造をしているのがわかる。 LSHSelfAttention が何なのかというのが肝心であるが、通…
参考文献 Flax 2 ("Linen") - Colaboratory（2022年4月27日参照）． JAX/Flaxを使ってMNISTを学習させてみる | TC3株式会社（2022年4月27日参照）． Flax でニューラルモデルにデータを流すのは以下のようにやることになるということです。 JAX では乱数を生…
参考文献 Python + NumPy: 乱数生成のシード(RandomState)をちゃんと管理する - 物理の駅 by 現役研究者（2022年4月26日参照）． Mersenne Twister - Wikipedia（2022年4月26日参照）． メルセンヌ・ツイスタの記事だが日本語版と違って図解と疑似コードがあ…
差の差の分析の話というか Python の statsmodels.formula.api.glm は R 言語の glm と違って被説明変数が集約されているときはつかえないのだろうかという話だが、集約しなければいいので何も本質的ではないし、集約されていてもつかえるのに見落としている…
◆ 母集団分布という言葉がある。英語では population distribution らしい。しかし、population distribution で検索すると（ある国の地域ごとや年齢ごとの）人口の分布が出てくるケースが多い。それはそれとして母集団分布とは、母集団の分布であるらしい。…
お気付きの点がありましたらご指摘いただけますと幸いです。jax.random.PRNGKey — JAX documentationhttps://colab.research.google.com/github/google/jax/blob/main/docs/jax-101/05-random-numbers.ipynb#scrollTo=5kVpfSV5n1d7 💜 Numpy の疑似乱数は、同…
お気付きの点がありましたらご指摘いただけますと幸いです。jax.random.PRNGKey — JAX documentationhttps://colab.research.google.com/github/google/jax/blob/main/docs/jax-101/05-random-numbers.ipynb#scrollTo=5kVpfSV5n1d7 Flax でニューラルモデル…
当ブログ内の参考文献の書式には揺れがある。標準の書式を検討したい。検討中である。 この記事の参考文献 よく知られている参考文献の書式 参考文献の書式の検討 よく参照するソースの書式の検討 この記事の参考文献 On the Nystrom Method for Approximati…
※ この記事には（他の記事にも）推測を含みます。お気付きの点がありましたらご指摘いただけますと幸いです。要約： 筆者が混乱していただけだが、NeurIPS は「第何回の会議か」と「会議録の番号」がずれている。オンライン版会議録のトップページをスクロー…
お気付きの点がありましたらご指摘いただけますと幸いです。tf.data を使ったテキストの読み込み | TensorFlow Core雑記 - クッキーの日記（前回） 昨日文章を数値列化する方法はわかったので、参考文献 [1] の要領で全データをバッチ化し訓練すればよさそう…
お気付きの点がありましたらご指摘いただけますと幸いです。https://www.tensorflow.org/datasets/catalog/imdb_reviews https://tensorflow.google.cn/tutorials/load_data/text?hl=ja tfds.deprecated.text.Tokenizer | TensorFlow Datasets tfds.deprecat…
お気付きの点がありましたらご指摘いただけますと幸いです。https://pytorch.org/get-started/locally/ WSL2 + Ubuntu20.04 + CUDA 11.6 + cuDNN v8.2.0 環境に PyTorch を入れたいです。native Windows 側には既に PyTorch が入っているのですが、PyTorch …
![はてなブックマーク - 雑記： [PyTorch on WSL2] CUDA 11.6 環境に CUDA 11.5 用 wheel を入れても動いたというだけの話](https://b.hatena.ne.jp/entry/image/https://cookie-box.hatenablog.com/entry/2022/04/17/235708)
参考文献 日本統計学会 編. 日本統計学会公式認定統計検定 統計検定1級対応 統計学. 東京図書株式会社, 2013. 107ページ（ページ数は初版第3刷）に分散の同等性の検定がある。ただし 96 ページの尤度比検定による検定の構成の例でも登場している。 井手 剛. …
お気付きの点がありましたらご指摘いただけますと幸いです。https://github.com/tensorflow/texthttps://www.tensorflow.org/texthttps://github.com/google/flaxhttps://flax.readthedocs.io/en/latest/installation.html TensorFlow は、WSL2 + Ubuntu20.0…
お気付きの点がありましたらご指摘いただけますと幸いです。Efficiently Modeling Long Sequences with Structured State Spaces | OpenReview（In ICLR 2022）Combining Recurrent, Convolutional, and Continuous-time Models with Linear State Space Lay…
お気付きの点がありましたらご指摘いただけますと幸いです。Statistical Tests Won’t Help You to Compare Distributions | by Samuele Mazzanti | Apr, 2022 | Towards Data Science💜 [1] の記事は、手元のデータが以下のようになっているとき、「アメリカの…
参考文献 gin-config/docs at fb517ee61e4a4ce5703f2a156d0edd873c699c0c · google/gin-config · GitHub 以下のようにするとクラスのコンストラクタの引数にデフォルト値を注入できます。 hoge.py で Onigiri クラスを実装します。 config.gin に Onigiri ク…
この記事シリーズは目的が未達成です。お気付きの点がありましたらご指摘いただけますと幸いです。https://github.com/google/trax/tree/v1.4.1/trax/models/reformer雑記 - クッキーの日記（前回） 前回、最新の Trax (v1.4.1) を導入した上でリポジトリの…
2022-04-12 認識がおかしかったので修正します。冒頭に絵を追加しました。 参考文献 css position stickyが効かない時の解決策！Flex-box使用時に効かなくなる？ – CHEATPARK – 神戸三宮のシステム開発会社CHEAT. https://cheat.co.jp/blog/archives/1896（…
参考文献 Toeplitz matrix - Wikipedia. https://en.wikipedia.org/wiki/Toeplitz_matrix（参照日 2022年4月9日）. Circulant matrix - Wikipedia. https://en.wikipedia.org/wiki/Circulant_matrix（参照日 2022年4月9日）. R. M. Gray, Toeplitz and Circu…
この記事（及びつづきの記事）は目的が未達成です。モデルのインスタンス化しかしていません。お気付きの点がありましたらご指摘いただけますと幸いです。https://github.com/google/trax/tree/v1.4.1/trax/models/reformer雑記 - クッキーの日記（次回） Re…
参考文献 GitHub - google/jax: Composable transformations of Python+NumPy programs: differentiate, vectorize, JIT to GPU/TPU, and more GitHub - google/trax: Trax — Deep Learning with Clear Code and Speed CUDA 11.6 + cuDNN v8.2.0 on Ubuntu20…
