並列処理ループからファイルを読み取る

並列処理ループからファイルを読み取る

PCAPスクリプト

32個のプロセッサを搭載したサーバーがあり、これらのプロセッサを利用するにはこのスクリプトを最大化する必要があります。現在のプログラムはプロセッサを1つだけ使用するため、複数のインスタンスを同時に実行するtshark必要があります。tshark現在、以下のスクリプトで定義されているループは一度に1 pcapを実行しますが、これは非常に遅いです。一度に最大15秒間実行する必要がありますtsharkが、ループがファイルの終わりに達するまでそれ以上実行されません。

デフォルトでは、スクリプトはいくつかのpcapファイルを読み取り、テキストファイルにpcapを一覧表示しtsharkますmergecap

この例には、フィルタリングするpcapファイルが5つあります。

  1. full_cap_1589
  2. full_cap_1590
  3. full_cap_1591
  4. full_cap_1592
  5. full_cap_1593

#!/bin/bash
# pcapファイルを解析するためのテストスクリプト
#DATE = `日付| awk '{print $2}'`
セット-x


echo "開始時間 - 月/日時間の例: 07/19 08:00"

読み取り -e 日付1

echo "終了時間 - 月/日時間の例 07/19 08:35"

読み取り -e 日付 2

echo "どのIPアドレスをフィルタリングする必要がありますか?"

読み取り -e IP

$ ipをエコー

FIND=`/mnt/pcap/captures/ -type f -newermt "$date1" ! -newermt "$date2" |cut -c20-40 > /home/username/loading_dock/load.txt`

#"${FIND[@]}"の完全大文字

私にとっては `cat /home/username/loading_dock/load.txt`にあります。

する

  tshark -r /mnt/pcap/captures/$i "-Y ip.addr == $ip" -w /home/username/loading_dock/$i.pcap


完璧

mergecap -w /home/username/loading_dock/*.pcap -w /home/username/test1.pcap

rm -rf /home/ユーザー名/loading_dock/*.pcap
rm -f /home/ユーザー名/loading_dock/load.txt

0番出口

ベストアンサー1

GNU並列性を使用できますか?

parallel -j15 tshark -r /mnt/pcap/captures/{} \'"-Y ip.addr == $ip"\' -w /home/username/loading_dock/{}.pcap :::: /home/username/loading_dock/load.txt

GNU Parallelは、同じコンピュータまたはSSHを介してアクセスできる複数のコンピュータでタスクを並列に簡単に実行できる汎用の並列ハンドラです。

4つのCPUで32の異なるジョブを実行する場合は、並列化する簡単な方法は、各CPUで8つのジョブを実行することです。

簡単なスケジューリング

代わりに、GNU Parallel はタスクが完了すると新しいプロセスを作成し、CPU をアクティブに保つことで時間を節約します。

GNU並列スケジューリング

インストールする

セキュリティ上の理由から、パッケージマネージャを使用してGNU Parallelをインストールする必要がありますが、GNU Parallelが展開用にパッケージ化されていない場合は、rootアクセスを必要としないプライベートインストールを実行できます。これは10秒で完了できます。

(wget -O - pi.dk/3 || curl pi.dk/3/ || fetch -o - http://pi.dk/3) | bash

その他のインストールオプションについては、以下を参照してください。http://git.savannah.gnu.org/cgit/parallel.git/tree/README

詳細

より多くの例を見る:http://www.gnu.org/software/parallel/man.html

紹介ビデオを見る:https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

このチュートリアルを見てください。http://www.gnu.org/software/parallel/parallel_tutorial.html

サポートを受けるには、メールリストに参加してください。https://lists.gnu.org/mailman/listinfo/parallel

おすすめ記事