処理速度が遅いスクリプトの問題によるファイルパイピング

処理速度が遅いスクリプトの問題によるファイルパイピング

非常に大きなファイルがあり、ファイルの各行をスクリプトにリンクして処理したいとします。

cat large_file.txt | python processor.py

上記の作業がどのように機能するのか完全にはわかりません。ファイルが繰り返されるかどうか、各行をプロセッサに渡し、プロセッサが完了するのを待ち、プロセッサが完了したら次の行を渡します。それともファイル全体を読み取り、プロセッサに渡しますか?

本当にこのような場合が初めてでありますように。

ありがとう

ベストアンサー1

このコマンドの出力はcatPythonスクリプトにSTDINとして表示されます。 Pythonスクリプトは、この入力をどれだけ早く読み込むか、次の行を読む前に1行を処理するか、すべての入力を読み取って処理を開始するかを担当します。

おすすめ記事