Keras で結合重みオートエンコーダーを実装し、正常にトレーニングしました。
私の目標は、オートエンコーダのデコーダ部分のみを別のネットワークの最後のレイヤーとして使用し、ネットワークとデコーダの両方を微調整することです。
問題は、以下の要約からわかるように、私の結び付けられた重みの実装ではデコーダーにパラメーターがないため、微調整するものがないことです。(decoder.get_weights()
戻り値[]
)
私の質問は、タイ ウェイトの実装を変更して、タイ レイヤーが引き続きウェイト、つまりエンコーダーの転置されたウェイトを保持できるようにする必要があるかどうかです。必要な場合は、どのようにすればよいですか。
それとも私が大きく間違っているのでしょうか?
以下は、オートエンコーダモデルの概要と、結合された密な層のクラスです(https://github.com/nanopony/keras-convautoencoder/blob/master/autoencoder_layers.py をご覧ください。)
Layer (type) Output Shape Param # Connected to
====================================================================================================
encoded (Dense) (None, Enc_dim) 33000 dense_input_1[0][0]
____________________________________________________________________________________________________
tieddense_1 (TiedtDense) (None, Out_Dim) 0 encoded[0][0]
====================================================================================================
Total params: 33,000
Trainable params: 33,000
Non-trainable params: 0
________________________________________________________________________
class TiedtDense(Dense):
def __init__(self, output_dim, master_layer, init='glorot_uniform', activation='linear', weights=None,
W_regularizer=None, b_regularizer=None, activity_regularizer=None,
W_constraint=None, b_constraint=None, input_dim=None, **kwargs):
self.master_layer = master_layer
super(TiedtDense, self).__init__(output_dim, **kwargs)
def build(self, input_shape):
assert len(input_shape) >= 2
input_dim = input_shape[-1]
self.input_dim = input_dim
self.W = tf.transpose(self.master_layer.W)
self.b = K.zeros((self.output_dim,))
self.params = [self.b]
self.regularizers = []
if self.W_regularizer:
self.W_regularizer.set_param(self.W)
self.regularizers.append(self.W_regularizer)
if self.b_regularizer:
self.b_regularizer.set_param(self.b)
self.regularizers.append(self.b_regularizer)
if self.activity_regularizer:
self.activity_regularizer.set_layer(self)
self.regularizers.append(self.activity_regularizer)
if self.initial_weights is not None:
self.set_weights(self.initial_weights)
del self.initial_weights
ベストアンサー1
この質問がなされてから 2 年以上経ちますが、この回答は一部の人にとってはまだ関連性があるかもしれません。
この関数Layer.get_weights()
はself.trainable_weights
、およびself.non_trainable_weights
(keras.engine.base_layer.レイヤーの重み)。カスタム レイヤーでは、重みself.W
とがself.b
これらのコレクションのいずれにも追加されていないため、レイヤーのパラメーターは 0 になります。
実装を次のように調整できます。
class TiedtDense(Dense):
def __init__(self, output_dim, master_layer, **kwargs):
self.master_layer = master_layer
super(TiedtDense, self).__init__(output_dim, **kwargs)
def build(self, input_shape):
assert len(input_shape) >= 2
input_dim = input_shape[-1]
self.input_dim = input_dim
self.kernel = tf.transpose(self.master_layer.kernel)
self.bias = K.zeros((self.units,))
self.trainable_weights.append(self.kernel)
self.trainable_weights.append(self.bias)
注記:簡潔にするため、正規化子と制約は除いています。これらが必要な場合は、keras.engine.base_layer.レイヤー.重みの追加。