現在、私はPython 2.6を使用して複数のプロセスを生成するフレームワークの中心モジュールを持っています。multiprocessing
モジュール. を使用しているためmultiprocessing
、モジュールレベルのマルチプロセス対応ログがありますLOG = multiprocessing.get_logger()
。ドキュメントこのロガー (編集)にはプロセス共有ロックがないsys.stderr
ため、複数のプロセスが同時に書き込むことで (または任意のファイルハンドル) の内容が乱れることはありません。
私が現在抱えている問題は、フレームワーク内の他のモジュールがマルチプロセス対応ではないことです。私の考えでは、この中心となるモジュールへのすべての依存関係で、マルチプロセス対応のログ記録を使用するようにする必要があります。これはフレームワーク内だけでなく、フレームワークのすべてのクライアントにとっても面倒です。私が考えていない代替手段はありますか?
ベストアンサー1
私は今、パイプ経由ですべてを親プロセスに送る独自のログ ハンドラーを作成しました。まだ 10 分間しかテストしていませんが、かなりうまく機能しているようです。
(注:これは にハードコードされておりRotatingFileHandler
、これは私自身の使用例です。)
更新: @javierは現在このアプローチをPypiで利用可能なパッケージとして管理しています - 参照マルチプロセッシングログPypi、githubでhttps://github.com/jruere/multiprocessing-logging
更新: 実装!
これは、同時実行を正しく処理するためにキューを使用するようになり、エラーからも正しく回復するようになりました。私はこれを数か月間本番環境で使用していますが、以下の現在のバージョンは問題なく動作します。
from logging.handlers import RotatingFileHandler
import multiprocessing, threading, logging, sys, traceback
class MultiProcessingLog(logging.Handler):
def __init__(self, name, mode, maxsize, rotate):
logging.Handler.__init__(self)
self._handler = RotatingFileHandler(name, mode, maxsize, rotate)
self.queue = multiprocessing.Queue(-1)
t = threading.Thread(target=self.receive)
t.daemon = True
t.start()
def setFormatter(self, fmt):
logging.Handler.setFormatter(self, fmt)
self._handler.setFormatter(fmt)
def receive(self):
while True:
try:
record = self.queue.get()
self._handler.emit(record)
except (KeyboardInterrupt, SystemExit):
raise
except EOFError:
break
except:
traceback.print_exc(file=sys.stderr)
def send(self, s):
self.queue.put_nowait(s)
def _format_record(self, record):
# ensure that exc_info and args
# have been stringified. Removes any chance of
# unpickleable things inside and possibly reduces
# message size sent over the pipe
if record.args:
record.msg = record.msg % record.args
record.args = None
if record.exc_info:
dummy = self.format(record)
record.exc_info = None
return record
def emit(self, record):
try:
s = self._format_record(record)
self.send(s)
except (KeyboardInterrupt, SystemExit):
raise
except:
self.handleError(record)
def close(self):
self._handler.close()
logging.Handler.close(self)