以下に証明まであるね。そこに出てくる導関数の定義はさらに下のページかな。
それはそうなんですが、まさにその記事で重要なテクニックとされている、「扱いにくいので以下のように二つの和に分解する」というのが素直な発想ではない気がしませんか? そこに気が付かないと詰んでしまいますよね?
そうです。そもそも微分ってよく以下のように説明されると思うのですけど、
この定義の形だと、
とは何なのかわかりにくいですし、あと入出力をベクトルや行列に拡張しにくいですよね。だからなのかはわからないですが、行列の
微分を扱う参考文献 3. ではこちらの形です。
ここで、
は
ランダウ記号のスモールオーで、関数
が
であるときに
を
とかきかえて、「
は
よりも速く
に収束する」などといいますね。もちろん色々な関数が
にかきかえられるので、一度
にかきかえると元々の関数は復元できない、収束の速さにだけ注目した丸め記法といったところでしょうか。…こちらの定義の方が
テイラー展開の形をしていて近似めいたことをしようとしているのだとわかりやすいでしょう? 無論このような
が存在したら前者の定義の式で求めることになるので前者の定義の式はつかうのですけど。
それで、 のことを「起点 における増分 についての微分」と呼ぶそうです。微分係数 は ともかき、起点 の関数であることを意識すると導関数と呼ばれますね。本題に戻ると、いま積の微分 を知りたいというか、 との関係を知りたいわけです(参考文献 1. の記事では積の導関数 で考えていますが、導関数は増分 によりませんから をかけた を考えても同じ関係が得られるはずです)。テイラー展開形式の定義に基づいて示してみますね。
も
も
微分可能な起点
を考えます。そこで共通の増分
について以下が成り立ちますね。
と
は
よりも速く
に収束する残差です。
これらの各辺どうしをかけ合わせるとこうなります。
ここで、
と
は
によりませんから、
も
も
にかきかえられます。また、
であり、この各項は
よりも速く
に収束するのでやはり
とかきかえられ、結局、
となりますが、これは
テイラー展開の形式です。つまり、
であるといっていることに他なりません。
ほら、テクニックを用いずに積の
微分公式を示せたでしょう?
テクニックが要らなくなった一方でちょいちょいランダウ記号に関する定理が前提とされているような…それに、テクニックを回避できたのはテイラー展開形式の定義にしたのが要因じゃないんじゃない? テクニックが回避できたのは、その証明が「 の一次近似は の一次近似と の一次近似の積からつくることができるはずだ」っていうあまり明らかじゃない出発点から始まっているからだと思う。だって、テイラー展開形式の定義にするにしても、素直に出発するなら、
ここまでは任意の
について成り立つ。残差部分が邪魔だから両辺を
で割ってから
とすると、
を得る(∵ 積の極限は極限の積)。
…こうするとやっぱり例のテクニックをつかう。上の3行目から4行目の式変形がそうだね。
それに、微分係数形式の定義でも「 と の積をとってみよう」という発想から出発するなら例のテクニックを回避できる気がするな。
上式が有限の値に収束しなければならないので、カッコ内は
で
に収束しなければならない。であれば、
でなければならない。
…どうだろう。例のテクニックっぽいっちゃぽいけど、例のテクニックと違って「経由点を差し挟む」という操作はせずに済む。
え、えっと、なんかもう何が素直で何が素直でないのかわからなくなってきました…。
「この証明の仕方は素直である」の真偽を問いたければこれを数学の言葉で定義しないといけないね。骨が折れそうだ。…そういえば、さっき「入出力をベクトルや行列に拡張」っていってたのは?
あ、はい、ここまではスカラー変数をとるスカラー値関数の微分を考えていましたが、テイラー展開形式の定義はベクトル変数をとるベクトル値関数にも拡張できます。面倒なので文字を使い回します。 として、
です。ここで、
は入出力がベクトルのときは
を満たす関数
をかきかえたものとしてください。そして、
がどのような行列か知るには上の式の
番目の成分をとります。
が
で
微分可能ならば上の
は存在しますが、他方、上の
を
(
,
は
番目の成分のみ
でその他の成分が
)とすると、
は以下だったことがわかります。
上の
のことを
とか
などとかくということです。なお、各
が存在しても
が
で
微分可能であるとは限りません。
が
で
微分可能であるならば各
は存在し上式で求まるということです。この
を各成分にもつ
微分係数行列
のことを
とかいてヤコビ行列ともよびます。
が
における
についての
微分になります。
はい。それで、 のときに積の微分公式がどうなるかを考えてみます。このときヤコビ行列は で、形としては横ベクトルです。上の3つの証明のうち1番上の証明で考えますが、前半部分(「また、」の直前まで)は だろうと変わりません。その後が、
こうなりますが、これらが
で割っても
で
に収束するかを確認しなければなりません。しかし、これは大丈夫です。第1項から第3項には
が含まれているので(第1項は2つ含まれているうちのどちらでもいいですが)、
で割ると単位ベクトルが残り、そこは
の長さに依存しなくなります。しかし、それでももう1つの
や
や
が残りますので
で
に収束します。第4項も
で割ってもなお
で
に収束します。なので、
がベクトル値をとる
スカラー関数であっても積の
微分公式
は成立します。
なるほど。微分係数行列の定義に基づいてやるとこうかな。
テイラー展開式で定義から出発するなら、以下の式変形までは
スカラー変数のときと変わらないね。
ここまでは任意の
について成り立つ。残差部分が邪魔だから両辺を
で割ってから
とすると、
を得る(
は
方向の単位ベクトル)。任意の方向
についてこれが成り立つので結局
が成り立つ。
最後に、
微分係数ど
うしの積から出発する場合だけど、
微分係数行列どうしはサイズ的にそのまま積が定義できないね。
アダマール積を取らないといけないな。
上式が有限の値に収束しなければならないので、カッコ内は
で
に収束しなければならない。 であれば、
でなければならない。任意の
についてこれが成り立つので結局
でなければならない。
じゃあベクトル値をとる
スカラー関数じゃなくて、ベクトル値をとるベクトル関数ど
うしの積の
微分はどうなるかっていうと…これも次元をそろえて片方を転置でもしないと関数ど
うしの積が定義できないね。
結論からいえばそれも積が定義できる形にしてあれば同様の積の微分公式が成り立ちます。ただ、それを考えるならば微分の定義を行列を変数にとる行列関数の微分にまで拡張した方がもっと一般化して考えられます。行列を変数にとる行列関数の微分の定義は、 として、
です。
は入出力が行列のときは
を満たす関数
をかきかえたものとしてください。また、
です。
は行列
を縦ベクトルにばらして縦に並べたものという意味です。
沖本本の7章でよく似た
作用素というのがありましたが、あちらは行列の下三角にある成分を並べてベクトルにする
作用素だったので少し違いますね。何にせよこの手のものは定義を要確認です。
作用素を使うんだ。それだと形式はベクトル値をとるベクトル関数と同じになるね。
ええ、それで微分は、 と定義されます。そうすると が成り立つんですがもう疲れたので終わります…。
つづかない