私は、Udacity ディープラーニング コースの課題の一部である 10 クラスの画像分類タスク用に、単純な多層パーセプトロンをトレーニングしようとしています。より正確に言うと、このタスクは、さまざまなフォントからレンダリングされた文字を分類することです (データセットは notMNIST と呼ばれます)。
最終的にできたコードはかなりシンプルに見えますが、トレーニング中は GPU の使用率が常に非常に低くなります。GPU-Z で負荷を測定すると、わずか 25 ~ 30% と表示されます。
現在のコードは次のとおりです:
graph = tf.Graph()
with graph.as_default():
tf.set_random_seed(52)
# dataset definition
dataset = Dataset.from_tensor_slices({'x': train_data, 'y': train_labels})
dataset = dataset.shuffle(buffer_size=20000)
dataset = dataset.batch(128)
iterator = dataset.make_initializable_iterator()
sample = iterator.get_next()
x = sample['x']
y = sample['y']
# actual computation graph
keep_prob = tf.placeholder(tf.float32)
is_training = tf.placeholder(tf.bool, name='is_training')
fc1 = dense_batch_relu_dropout(x, 1024, is_training, keep_prob, 'fc1')
fc2 = dense_batch_relu_dropout(fc1, 300, is_training, keep_prob, 'fc2')
fc3 = dense_batch_relu_dropout(fc2, 50, is_training, keep_prob, 'fc3')
logits = dense(fc3, NUM_CLASSES, 'logits')
with tf.name_scope('accuracy'):
accuracy = tf.reduce_mean(
tf.cast(tf.equal(tf.argmax(y, 1), tf.argmax(logits, 1)), tf.float32),
)
accuracy_percent = 100 * accuracy
with tf.name_scope('loss'):
loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=logits, labels=y))
update_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS)
with tf.control_dependencies(update_ops):
# ensures that we execute the update_ops before performing the train_op
# needed for batch normalization (apparently)
train_op = tf.train.AdamOptimizer(learning_rate=1e-3, epsilon=1e-3).minimize(loss)
with tf.Session(graph=graph) as sess:
tf.global_variables_initializer().run()
step = 0
epoch = 0
while True:
sess.run(iterator.initializer, feed_dict={})
while True:
step += 1
try:
sess.run(train_op, feed_dict={keep_prob: 0.5, is_training: True})
except tf.errors.OutOfRangeError:
logger.info('End of epoch #%d', epoch)
break
# end of epoch
train_l, train_ac = sess.run(
[loss, accuracy_percent],
feed_dict={x: train_data, y: train_labels, keep_prob: 1, is_training: False},
)
test_l, test_ac = sess.run(
[loss, accuracy_percent],
feed_dict={x: test_data, y: test_labels, keep_prob: 1, is_training: False},
)
logger.info('Train loss: %f, train accuracy: %.2f%%', train_l, train_ac)
logger.info('Test loss: %f, test accuracy: %.2f%%', test_l, test_ac)
epoch += 1
これまで試したことは次のとおりです。
入力パイプラインをシンプルからに変更しました
feed_dict
。tensorflow.contrib.data.Dataset
私の理解では、別のスレッドでデータをロードするなど、入力の効率性に配慮するはずです。したがって、入力に関連するボトルネックはないはずです。ここで提案されているように痕跡を収集しました:https://github.com/tensorflow/tensorflow/issues/1824#issuecomment-225754659ただし、これらのトレースは実際には何も興味深いものを示しませんでした。トレーニング ステップの 90% 以上は matmul 操作です。
バッチ サイズを変更しました。128 から 512 に変更すると、負荷が約 30% から約 38% に増加し、さらに 2048 に増やすと、負荷は約 45% になります。GPU メモリは 6Gb で、データセットは単一チャネルの 28x28 画像です。本当にこれほど大きなバッチ サイズを使用する必要があるのでしょうか。さらに増やす必要がありますか。
一般的に、負荷が低いことを心配する必要がありますか、それは本当に私が非効率的にトレーニングしている兆候ですか?
以下は、バッチ内の 128 枚の画像の GPU-Z スクリーンショットです。各エポックの後にデータセット全体の精度を測定すると、負荷が低く、時折 100% に急上昇していることがわかります。
ベストアンサー1
MNIST サイズのネットワークは非常に小さく、高い GPU (または CPU) 効率を達成するのは困難です。アプリケーションでは 30% は珍しくないと思います。バッチ サイズが大きいほど計算効率は高くなり、1 秒あたりに処理できるサンプル数が増えますが、統計効率も低くなり、目標精度に達するには合計でより多くのサンプルを処理する必要があります。つまり、トレードオフです。あなたのような小さなキャラクター モデルの場合、統計効率は 100 を超えると急速に低下するため、トレーニング用にバッチ サイズを大きくすることはおそらく価値がありません。推論には、可能な限り最大のバッチ サイズを使用する必要があります。