自作レイヤー自体は以下の記事でつかったことがありますが、これはウェイトをもつレイヤーではなく、最後にかぶせて損失関数のみをカスタマイズするためのレイヤーでした。
keras.layers.Dense をつかった場合
まず、 普通に Keras の Dense をつかって MNIST の分類器をつくると例えば以下になると思います。モデルは適当です。
→ 下記スクリプトの設定で 95% 程度のテスト精度になりました。
import numpy
from keras.layers import Input, Dense, Dropout
from keras.models import Model
from keras.datasets import mnist
from keras.utils import np_utils
if __name__ == "__main__":
(x_train, y_train), (x_test, y_test) = mnist.load_data()
x_train = x_train.astype('float32') / 255.
x_test = x_test.astype('float32') / 255.
x_train = x_train.reshape((len(x_train), numpy.prod(x_train.shape[1:])))
x_test = x_test.reshape((len(x_test), numpy.prod(x_test.shape[1:])))
y_train = np_utils.to_categorical(y_train, num_classes=10)
y_test = np_utils.to_categorical(y_test, num_classes=10)
input = Input(shape=(x_train.shape[1],))
converted = Dense(20, activation='relu')(input)
converted = Dropout(0.2)(converted)
converted = Dense(20, activation='relu')(converted)
converted = Dropout(0.2)(converted)
converted = Dense(10, activation='softmax')(converted)
classifier = Model(input, converted)
classifier.compile(optimizer='adam', loss='categorical_crossentropy',
metrics=['accuracy'])
print(classifier.summary())
classifier.fit(x_train, y_train, epochs=20, batch_size=100, shuffle=True)
scores = classifier.evaluate(x_train, y_train, verbose=0)
print('Accuracy (train): %.2f%%' % (scores[1]*100))
scores = classifier.evaluate(x_test, y_test, verbose=0)
print('Accuracy (test) : %.2f%%' % (scores[1]*100))
_________________________________________________________________
Layer (type) Output Shape Param #
=================================================================
input_1 (InputLayer) (None, 784) 0
_________________________________________________________________
dense_1 (Dense) (None, 20) 15700
_________________________________________________________________
dropout_1 (Dropout) (None, 20) 0
_________________________________________________________________
dense_2 (Dense) (None, 20) 420
_________________________________________________________________
dropout_2 (Dropout) (None, 20) 0
_________________________________________________________________
dense_3 (Dense) (None, 10) 210
=================================================================
Total params: 16,330
Trainable params: 16,330
Non-trainable params: 0
_________________________________________________________________
Accuracy (train): 95.69%
Accuracy (test) : 94.92%
自作 Dense をつかった場合
次に、import Dense をつかわずに自作 Dense ( class MyDense ) に置き換えたのが以下です。
→ これも 95% 程度のテスト精度になったので、ちゃんと Dense になっていると思います。
パラメータ数も上と同じ 16,330 です。
Keras ドキュメント（Writing your own Keras layers - Keras Documentation）にあるとおり、自作レイヤーのクラスでは build メソッドでウェイトを定義し、call メソッドにウェイトを用いたこのレイヤーの計算処理を実装すればよいはずです。compute_output_shape メソッドは次のレイヤーのために出力 shape を返すようにしておきます。
import numpy
from keras import backend as K
from keras.engine.topology import Layer
from keras.layers import Input, Dropout
from keras.models import Model
from keras.datasets import mnist
from keras.utils import np_utils
class MyDense(Layer):
def __init__(self, output_dim, activation, **kwargs):
self.output_dim = output_dim
self.activation = activation
super(MyDense, self).__init__(**kwargs)
def build(self, input_shape):
self.kernel = self.add_weight(name='kernel',
shape=(input_shape[1], self.output_dim),
initializer='glorot_uniform')
self.bias = self.add_weight(name='bias',
shape=(1, self.output_dim),
initializer='zeros')
super(MyDense, self).build(input_shape)
def call(self, x):
if self.activation == 'relu':
return(K.relu(K.dot(x, self.kernel) + self.bias))
elif self.activation == 'softmax':
return(K.softmax(K.dot(x, self.kernel) + self.bias))
else:
return(K.dot(x, self.kernel) + self.bias)
def compute_output_shape(self, input_shape):
return(input_shape[0], self.output_dim)
if __name__ == "__main__":
(x_train, y_train), (x_test, y_test) = mnist.load_data()
x_train = x_train.astype('float32') / 255.
x_test = x_test.astype('float32') / 255.
x_train = x_train.reshape((len(x_train), numpy.prod(x_train.shape[1:])))
x_test = x_test.reshape((len(x_test), numpy.prod(x_test.shape[1:])))
y_train = np_utils.to_categorical(y_train, num_classes=10)
y_test = np_utils.to_categorical(y_test, num_classes=10)
input = Input(shape=(x_train.shape[1],))
converted = MyDense(20, activation='relu')(input)
converted = Dropout(0.2)(converted)
converted = MyDense(20, activation='relu')(converted)
converted = Dropout(0.2)(converted)
converted = MyDense(10, activation='softmax')(converted)
classifier = Model(input, converted)
classifier.compile(optimizer='adam', loss='categorical_crossentropy',
metrics=['accuracy'])
print(classifier.summary())
classifier.fit(x_train, y_train, epochs=20, batch_size=100, shuffle=True)
scores = classifier.evaluate(x_train, y_train, verbose=0)
print('Accuracy (train): %.2f%%' % (scores[1]*100))
scores = classifier.evaluate(x_test, y_test, verbose=0)
print('Accuracy (test) : %.2f%%' % (scores[1]*100))
_________________________________________________________________
Layer (type) Output Shape Param #
=================================================================
input_1 (InputLayer) (None, 784) 0
_________________________________________________________________
my_dense_1 (MyDense) (None, 20) 15700
_________________________________________________________________
dropout_1 (Dropout) (None, 20) 0
_________________________________________________________________
my_dense_2 (MyDense) (None, 20) 420
_________________________________________________________________
dropout_2 (Dropout) (None, 20) 0
_________________________________________________________________
my_dense_3 (MyDense) (None, 10) 210
=================================================================
Total params: 16,330
Trainable params: 16,330
Non-trainable params: 0
_________________________________________________________________
Accuracy (train): 95.83%
Accuracy (test) : 95.14%
class MyDense の実装は Keras ドキュメント（Writing your own Keras layers - Keras Documentation）の MyLayer を参考にしましたが、必要に応じて keras.engine.topology.Layer のソースを参照して修正しました。
keras/topology.py at master · fchollet/keras · GitHub
- 当初 Keras ドキュメントの MyLayer のとおりに実装したところ、パラメータ数からバイアス項がないことに気付いたので、バイアス項を追加しました。
- add_weight の引数に name が必要だったので追加しました。name をつけて何につかうのかわかりません。→ 後から自作 MyDense にはバイアス項がないことに気付いたとき、ユニークな名前でいくつでも weight 行列を追加できることに気付きました。
- kernel と bias の初期化方法は本家 Dense に合わせました（初期化が uniform だといまいち到達精度が 94% 程度にしかなりませんでした）（誤差もあるかもしれませんが）。
- 今回のモデルでは Dense を ReLU または softmax で活性化するので、Dense よろしく MyDense インスタンス生成時に活性化関数も指定するようにしました（ReLU と softmax 以外未対応）（活性化関数自体を引数に取ればいいんだろうとは思います）。
これで Dense が自作できることは確認できたのですが、自分がつくりたいのは Dense ではないのでこれからもっと調べていきます。
とシステムノイズ
が平均ゼロのガウシアン（分散は時変でよい）、一期前の状態を現在の状態にうつす写像
が線形（時変でよい）、システムノイズが状態に加わるときの変換
も線形（時変でよい）、観測も線形
（時変でよい；観測ノイズは平均ゼロのガウシアンのまま観測に加わるとする）の状態空間モデルを特にそういう（7～8ページ）。
で線形変換するというのは平均ゼロとは限らないガウシアンにするということで、例えば海の上で漂流していて陸地までの距離を知りたいとき（下図；2015-12-29の日記からリサイクル）沖の方に流される風が吹いていたら「大気によるノイズ」はゼロでないドリフト成分をもつだろう。「それって状態の時間発展
に含めるし、システム外と考えるのだったら
に含めましょうということなのだと思います。
の
の周りで線形近似することでカルマンフィルタ―を乗り切ろうという話にみえる。
