htopには赤がたくさんあります。これは衝突する作業があるという意味ですか?

htopには赤がたくさんあります。これは衝突する作業があるという意味ですか?

ここに画像の説明を入力してください。

赤は「カーネルプロセス」を意味すると読みました。これは、小さなデーモンがCPUを使用できることを規制するという意味ですか?そしてさらに、超過購読システムの取引コストは何ですか?

私は大規模なジオプロセシングジョブを実行していますが、2つのスクリプトが同時に並列に実行されています。

最初のスクリプトは、96コアすべてで実際の処理を実行します。ほぼすべてのメモリ使用量を担当します。

2番目のスクリプトは、curl最初のプロセスで使用するデータをダウンロードするために使用され、並列に実行されます。n_cores * 3ダウンロードするファイルが表示されるまでダウンロードするように書いた。制約が満たされない場合は、1分待ってからもう一度確認してください。したがって、ほとんどの場合実行されません。またはむしろSys.sleep()実行中ですR

ダウンロードプロセス中に少数のコアを試してみました。これにより、処理スクリプトに追いつくことができなくなります(S3でDLing中)。

重要な要約:htop赤みを減らすことができれば、プロセスは速くなりますか?コアよりもプロセスが多いので赤ですか?

ベストアンサー1

赤はカーネルで費やされた時間を表し、通常はシステムコールを処理するプロセスを表します。これにはI / Oに費やされた時間が含まれます。そうしようとしても役に立ちません。減らす時間の無駄ではないので、時間を減らすことが重要です。カーネルが有用なタスクを実行するのに費やす時間です(スラッシングを行わない限り、コンテキストスイッチの数などを確認してください)。

ダウンロードプロセス中に少数のコアを試してみました。これにより、処理スクリプトに追いつくことができなくなります(S3でDLing中)。

現在の設定が処理に必要なI / Oの提供と処理自体の間で均等にバランスしていることを示すのはかなり良い結果です。実行中のプロセスが多すぎると思われる場合それはジッタで無駄が発生した場合は、ジオプロセッシング操作の数を減らして全体のスループットが増加するかどうかを確認できます。一般的なベンチマークのヒントが適用されます。調整すべき事項を特定し、結果の可能な変化とその意味を識別し、一度に1つずつ調整し、すべてを測定します。

おすすめ記事