参考文献
- 行列が正則であることの意味と5つの条件 | 高校数学の美しい物語(2022年5月5日参照).
- 5 つの条件が同値であるとある。1. との同値性が一番イメージ的にもわかりやすいのが 4. だと思う。つまり、「正則である(逆行列がある)こととその線形変換の核が原点のみである(原点にうつるのは原点のみである)ことは同値である」ということである。なので自分は 1. と 4. が同値であることを前提にする。
- 次元定理の意味,具体例,証明 | 高校数学の美しい物語(2022年5月5日参照).
- 行列
について
が成り立つ。大学でおぼろげに習ったはずである。
- さっき「逆行列がある」を「核が原点のみ」にいい換えたが、核がどうだといわれたところでその行列の姿は結局イメージしにくい。なのでさらに核からランクに関連付けるためにこの定理をつかう。そうすると、「逆行列がある」⇔「核が原点のみ」⇔「ランクが列数に等しい」⇔「列ベクトルたちが線形独立である」までつながる。最後の矢印はランクの定義によった。
- 「列ベクトルたちが線形独立である」までもってくればどのような行列か幾分イメージしやすいと思う。少なくともぱっと反例をあげられる。すべての列ベクトルが同じであるような行列にすればよい。
- もしデータ行列
においてすべての列ベクトルが同じであったら、1 つ目の変数にも 2 つ目の変数にも 3 つ目の変数にも同じセンサーの値が記録されているに違いない。
正則化項がない線形回帰モデルの回帰係数が最小 2 乗法で一つに定まるためには、個々のデータを各行に並べた行列
- 「
のランクが列数」⇔「
の核が原点のみ」⇒「
の核も原点のみ」⇔「
が正則」
- 「
が正則」⇔「
の核が原点のみ」⇔「
のランクが列数」⇒「
のランクが列数」
- 「
が正則」⇒「
の核が原点のみ」⇔「
のランクが列数」
なので、入力空間が 1 次元ならば、つまり ならば、すべてのデータが
というのでもない限り最小 2 乗法ができる。安心である。
十分性の証明.
正方行列が正則であることと、その行列に対応する線形写像の核が原点のみであることは同値であるので [1]、 を示せばよい。
必要性の証明.
行列の積のランクの性質
他方、
必要性の証明(別解).
なので、この対偶をとると、
したがって