多層パーセプトロンをトレーニングするときのエポックと反復の違いは何ですか?
ベストアンサー1
ニューラルネットワークの用語では:
- 1エポック=すべてのトレーニング例の1回の順方向パスと1回の逆方向パス
- バッチ サイズ= 1 回のフォワード/バックワード パスでのトレーニング例の数。バッチ サイズが大きいほど、必要なメモリ領域が大きくなります。
- 反復回数=パス数、各パスでは [バッチ サイズ] の数の例を使用します。明確に言うと、1 パス = 1 つの前方パス + 1 つの後方パスです (前方パスと後方パスを 2 つの異なるパスとしてカウントしません)。
たとえば、トレーニング例が 1000 個あり、バッチ サイズが 500 の場合、1 エポックを完了するには 2 回の反復が必要になります。
ご参考までに:ニューラルネットワークをトレーニングするためのバッチサイズと反復回数のトレードオフ
「バッチ」という用語は曖昧です。トレーニング セット全体を指すために使用する人もいれば、1 回のフォワード/バックワード パスのトレーニング例の数を指すために使用する人もいます (この回答で私が行ったように)。この曖昧さを回避し、バッチが 1 回のフォワード/バックワード パスのトレーニング例の数に対応することを明確にするために、ミニ バッチという用語を使用できます。