スクリプトのxインスタンスを並列に実行するには?

スクリプトのxインスタンスを並列に実行するには?

常に「x」インスタンスを並列に実行したいスクリプトがあります。

コードは次のとおりです。

for A in 
do
  for B in
  do
    (script1.sh $A $B;script2.sh $A $B) &
  done #B
done #A

スクリプト自体はデータベースクエリを実行するため、並列に実行すると利点があります。問題は

1)「待機」は機能しません(すべてのバックグラウンドジョブを完了し、新しいジョブを開始するためです(スレッドカウンターを含めても)。これは多くの時間を無駄にします。

2)並列で行う方法がわかりません。他のパラメータを使用せずに同じスクリプトを複数回実行する例だけが見つかりました。

3)代替ソリューションは次のとおりです。

for A in 
do
  for B in
  do
    while threadcount>X 
    do
      sleep 60
    done
    (script1.sh $A $B;script2.sh $A $B) &
  done #B
done #A

しかし、私は実際に信頼できるスレッドの数を取得する方法を見つけることができませんでした。

正しい方向へのいくつかのアドバイスを歓迎します。


並列性を使用したいのですが、ドキュメントに記載されているとおりに機能しません。

はい

parallel echo ::: A B C ::: D E F

(文書から)それは私に言う

parallel: Input is read from the terminal. Only experts do this on purpose. Press CTRL-D to exit.

これはマニュアルページの最も簡単な例にすぎません。

ベストアンサー1

GNU Parallelを使用すると、次のようになります。

parallel script1.sh {}';' script2.sh {} ::: a b c ::: d e f

CPUごとに1つのジョブを作成します。

GNU Parallelは、同じコンピュータまたはSSHを介してアクセスできる複数のコンピュータでタスクを並列に簡単に実行できる汎用の並列ハンドラです。多くの場合for、ループを置き換えることができます。

4つのCPUで32の異なるジョブを実行する場合は、並列化する簡単な方法は、各CPUで8つのジョブを実行することです。

簡単なスケジューリング

代わりに、GNU Parallel はタスクが完了すると新しいプロセスを作成し、CPU をアクティブに保つことで時間を節約します。

GNU並列スケジューリング

インストールする

ディストリビューションにGNU Parallelがパッケージされていない場合は、rootアクセスなしでプライベートインストールを実行できます。これは10秒で完了できます。

(wget -O - pi.dk/3 || curl pi.dk/3/ || fetch -o - http://pi.dk/3) | bash

その他のインストールオプションについては、以下を参照してください。http://git.savannah.gnu.org/cgit/parallel.git/tree/README

詳細

より多くの例を見る:http://www.gnu.org/software/parallel/man.html

紹介ビデオを見る:https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

このチュートリアルを見てください。http://www.gnu.org/software/parallel/parallel_tutorial.html

サポートを受けるには、メールリストに参加してください。https://lists.gnu.org/mailman/listinfo/parallel

おすすめ記事