Keras + TensorflowとPythonでのマルチプロセッシング 質問する

私の経験から言うと、問題は 1 つのプロセスにロードし、メイン環境にロードされたKerasときに新しいプロセスを生成することにあります。ただし、一部のアプリケーション (たとえば、複数のモデルをトレーニングするなど) では、これらすべてを 1 つのプロセスにまとめる方がはるかに優れています。そのため、私がお勧めするのは、次の (少し面倒ですが、私にとってはうまく機能する) アプローチです。kerasKeras

1. KERASをメイン環境にロードしないでくださいKeras / Theano / TensorFlowをロードしたい場合は、関数環境でのみ実行してください。例：しないこれを行う：

   import keras
   
   def training_function(...):
       ...
   

   ただし、次の操作を実行してください。

   def training_function(...):
       import keras
       ...
   

2. 各モデルに関連する作業を個別のプロセスで実行します。私は通常、ジョブ（トレーニング、チューニング、スコアリングなど）を作成するワーカーを作成し、それらを別のプロセスで実行します。このプロセスで使用されるメモリ全体が完全に解放されたプロセスが完了したら、このメッセージを表示します。これは、マルチプロセスを使用している場合や、1 つのプロセスで複数のモデルを実行している場合によく発生するメモリの問題の解決に役立ちます。たとえば、次のようになります。

   def _training_worker(train_params):
       import keras
       model = obtain_model(train_params)
       model.fit(train_params)
       send_message_to_main_process(...)
   
   def train_new_model(train_params):
       training_process = multiprocessing.Process(target=_training_worker, args = train_params)
       training_process.start()
       get_message_from_training_process(...)
       training_process.join()