雑記

お気付きの点がありましたらご指摘いただけますと幸いです。宮川 雅巳. 統計的因果推論―回帰分析の新しい枠組み (シリーズ・予測と発見の科学). 朝倉書店. 2004.雑記 - クッキーの日記(前回) [1] の 76 ページの図 5.1 (c) のとき、つまり、交絡因子 があ…

雑記

お気付きの点がありましたらご指摘いただけますと幸いです。宮川 雅巳. 統計的因果推論―回帰分析の新しい枠組み (シリーズ・予測と発見の科学). 朝倉書店. 2004. 26. 重回帰分析 9(コントロール変数の選び方:バックドア基準と DAG) 雑記 - クッキーの日記…

雑記

お気付きの点がありましたらご指摘いただけますと幸いです。宮川 雅巳. 統計的因果推論―回帰分析の新しい枠組み (シリーズ・予測と発見の科学). 朝倉書店. 2004. 26. 重回帰分析 9(コントロール変数の選び方:バックドア基準と DAG) 雑記 - クッキーの日記…

雑記

お気付きの点がありましたらご指摘いただけますと幸いです。因果推論にDAGを活用する | 2021年 | 記事一覧 | 医学界新聞 | 医学書院(2022年5月13日参照). 参考文献 [1] に A~F の 6 つの DAG がありますね。 A は、X が「ピアノを習っていた」で、Y が…

雑記

参考文献 GitHub - pkuzengqi/Skyformer: Skyformer: Remodel Self-Attention with Gaussian Kernel and Nystr\"om Method (NeurIPS 2021)(2022年5月12日参照). 以前に Skyformer が CPU で動くのを確認したが GPU で動くか確認したら動いたというだけで…

雑記

参考文献 Arturs Backurs, Piotr Indyk, Tal Wagner. Space and Time Efficient Kernel Density Estimation in High Dimensions. In NeauIPS 2019.(2022年5月11日参照). [1] は大規模データにも適用できるカーネル密度推定の高速化を提案している。Reform…

雑記

仮に愛知県民の 20% がきのこの山の方が好きで、残る 80% はたけのこの里の方が好きだとする。 このとき、「きのこの山が好きである」のオッズは 0.2 / 0.8 = 0.25 になる。 さらに、「きのこの山が好きである」のロジットは log(0.25) = -1.39 になる。 こ…

雑記: Github Actions の Checkout はデフォルトでシャロ―クローンというだけ

参考文献 GitHub Actions で変更があるときだけ git commit & push する(2022年5月9日参照). continuous integration - Git history in a Github Action - Stack Overflow(2022年5月9日参照). GitHub - actions/checkout: Action for checking out a r…

雑記: Tweepy による Twitter API v2 の利用

概要 参考文献 前提 〈1〉OAuth 2.0 Bearer Token 認証の例 〈2〉OAuth 1.0a User Context 認証の例 〈3〉OAuth 2.0 Authorization Code Flow with PKCE (User Context) 認証の例 概要 Twitter API をつかおうとして Twitter Developer アカウントを作成…

雑記

参考文献 GitHub - lucidrains/performer-pytorch: An implementation of Performer, a linear attention-based transformer, in Pytorch(2022年5月7日参照). performer_pytorch(v1.1.4)は以下のような構造をしているのがわかる。 FastAttention がどう…

雑記

以下の記事を更新した。線形回帰モデル - Cookipedia

雑記: 線形回帰モデルが最小 2 乗推定できるにはデータ行列の各列が線形独立

参考文献 行列が正則であることの意味と5つの条件 | 高校数学の美しい物語(2022年5月5日参照). 5 つの条件が同値であるとある。1. との同値性が一番イメージ的にもわかりやすいのが 4. だと思う。つまり、「正則である(逆行列がある)こととその線形変換…

雑記

お気付きの点がありましたらご指摘いただけますと幸いです。 R を用いた一般化線形モデル(仮説検定編):割合データを例に(2022年5月4日参照). statistics - Asterisk (*) vs. colon (:) in R formulas - Stack Overflow(2022年5月5日参照). 参考文献…

雑記

以下の Pipfle と Pipfile.lock から pipenv を install すると fast_transformer はインストールできた。ただし fast_transformer 以外のパッケージもごちゃごちゃ入っている。ML-on-WSL/Pipfile at f9600f6a5d8e44257b31d428e2cbce7514269744 · CookieBox2…

雑記

昨日の記事で以下を実行できるようになったが、なぜ PyPI から pipenv で入れたときは動かなかったのか、pipenv で fast_transoformers は管理できないのか。 $ python >>> import fast_transformers.causal_product.causal_product_cuda 適当なディレクトリ…

雑記: [PyTorch on WSL2] fast_transformers.causal_product.causal_product_cuda が import できなかったのが解消した話

手元の環境(CUDA 11.6 + cuDNN v8.2.0 on Ubuntu20.04 on WSL2)では pytorch-fast-transformers を pip でインストールしたところ一部の機能は使用できるようだが fast_transformers.causal_product.causal_product_cuda が import できなかった。手元では…

雑記

参考文献 GitHub - lucidrains/performer-pytorch: An implementation of Performer, a linear attention-based transformer, in Pytorch(2022年4月30日参照). GitHub - idiap/fast-transformers: Pytorch library for fast transformer implementations…

雑記

参考文献 GitHub - lucidrains/performer-pytorch: An implementation of Performer, a linear attention-based transformer, in Pytorch(2022年4月29日参照). performer_pytorch(v1.1.4)をインストールして以下のようにするとモデルにデータを流せるよ…

雑記: Reformer のモデル構造

参考文献 GitHub - lucidrains/reformer-pytorch: Reformer, the efficient Transformer, in Pytorch(2022年4月28日参照). reformer_pytorch(v1.4.4)は以下のような構造をしているのがわかる。 LSHSelfAttention が何なのかというのが肝心であるが、通…

雑記: Flax でのモデル生成と適用

参考文献 Flax 2 ("Linen") - Colaboratory(2022年4月27日参照). JAX/Flaxを使ってMNISTを学習させてみる | TC3株式会社(2022年4月27日参照). Flax でニューラルモデルにデータを流すのは以下のようにやることになるということです。 JAX では乱数を生…

雑記: JAX の疑似乱数生成はメルセンヌ・ツイスタではない

参考文献 Python + NumPy: 乱数生成のシード(RandomState)をちゃんと管理する - 物理の駅 by 現役研究者(2022年4月26日参照). Mersenne Twister - Wikipedia(2022年4月26日参照). メルセンヌ・ツイスタの記事だが日本語版と違って図解と疑似コードがあ…

雑記: 差の差の分析の話

差の差の分析の話というか Python の statsmodels.formula.api.glm は R 言語の glm と違って被説明変数が集約されているときはつかえないのだろうかという話だが、集約しなければいいので何も本質的ではないし、集約されていてもつかえるのに見落としている…

雑記

◆ 母集団分布という言葉がある。英語では population distribution らしい。しかし、population distribution で検索すると(ある国の地域ごとや年齢ごとの)人口の分布が出てくるケースが多い。それはそれとして母集団分布とは、母集団の分布であるらしい。…

雑記

お気付きの点がありましたらご指摘いただけますと幸いです。jax.random.PRNGKey — JAX documentationhttps://colab.research.google.com/github/google/jax/blob/main/docs/jax-101/05-random-numbers.ipynb#scrollTo=5kVpfSV5n1d7 💜 Numpy の疑似乱数は、同…

雑記

お気付きの点がありましたらご指摘いただけますと幸いです。jax.random.PRNGKey — JAX documentationhttps://colab.research.google.com/github/google/jax/blob/main/docs/jax-101/05-random-numbers.ipynb#scrollTo=5kVpfSV5n1d7 Flax でニューラルモデル…

雑記: 参考文献の Citation Style の話

当ブログ内の参考文献の書式には揺れがある。標準の書式を検討したい。検討中である。 この記事の参考文献 よく知られている参考文献の書式 参考文献の書式の検討 よく参照するソースの書式の検討 この記事の参考文献 On the Nystrom Method for Approximati…

雑記: NeurIPS Proceedings の謎(ではない)

※ この記事には(他の記事にも)推測を含みます。お気付きの点がありましたらご指摘いただけますと幸いです。要約: 筆者が混乱していただけだが、NeurIPS は「第何回の会議か」と「会議録の番号」がずれている。オンライン版会議録のトップページをスクロー…

雑記

お気付きの点がありましたらご指摘いただけますと幸いです。tf.data を使ったテキストの読み込み | TensorFlow Core雑記 - クッキーの日記(前回) 昨日文章を数値列化する方法はわかったので、参考文献 [1] の要領で全データをバッチ化し訓練すればよさそう…

雑記

お気付きの点がありましたらご指摘いただけますと幸いです。https://www.tensorflow.org/datasets/catalog/imdb_reviews https://tensorflow.google.cn/tutorials/load_data/text?hl=ja tfds.deprecated.text.Tokenizer | TensorFlow Datasets tfds.deprecat…

雑記: [PyTorch on WSL2] CUDA 11.6 環境に CUDA 11.5 用 wheel を入れても動いたというだけの話

お気付きの点がありましたらご指摘いただけますと幸いです。https://pytorch.org/get-started/locally/ WSL2 + Ubuntu20.04 + CUDA 11.6 + cuDNN v8.2.0 環境に PyTorch を入れたいです。native Windows 側には既に PyTorch が入っているのですが、PyTorch …