forループとGNU並列?

forループとGNU並列?

これに近い答えを見つけましたが、私の場合はどのように使用するのか理解できません(私は初めてBashに触れました)...それで、大量の画像シーケンス(100,000を超えるファイル)を含むフォルダを処理しようとしています。 Imagemagickを使用してGNU Parallelを使用すると、作業速度が向上することを願っています。

以下は私が使用するコードです(メモリ不足を防ぐために一度に100フレームを処理します)。

calcmethod1=mean;
allframes=(*.png)
cd out1

for (( i=0; i < "${#allframes[@]}" ; i+=100 )); do 
    convert "${allframes[@]:i:100}" -evaluate-sequence "$calcmethod1" \
        -channel RGB -normalize ../out2/"${allframes[i]}"
done

これをどのように「並列化」しますか?私が見つけたほとんどのソリューションはループではなくパイプを使用していますが、これはパラメータリストが長すぎてスクリプトがクラッシュする問題を引き起こしました。

私が望むのは、parallel負荷を分割することです。たとえば、最初の100フレームをコア1に提供し、フレーム100〜199をコア2に提供する式です。

ベストアンサー1

注文する

あなたのプログラム例は、構成する配列の順序に興味がないようですが、あなた*.pngallframes意見では順序が重要であると信じていました。

私が望むのは、負荷を並列に分割することです。たとえば、最初の100フレームをコア1に提供し、フレーム100〜199をコア2に提供するなどの作業を実行します。

吹く

そこで、まず以下のようにスクリプトを変更して、ファイルが番号allframes順に保存されるように配列の構造を変更しました。

allframes=($(printf "%s\n" *.png | sort -V | tr '\n' ' '))

これは、以下を使用してさらに簡素化できますsort -zV

allframes=($(printf "%s\0" *.png | sort -zV | tr '\0' ' '))

これはconvert ...ビルドコマンドに影響を与えるため、次のようになります。

$ convert "0.png 1.png 2.png 3.png 4.png 5.png 6.png 7.png 8.png 9.png \
          10.png 11.png 12.png 13.png 14.png 15.png 16.png 17.png 18.png \
          19.png 20.png 21.png 22.png 23.png 24.png 25.png 26.png 27.png \
          28.png 29.png 30.png 31.png 32.png 33.png 34.png 35.png 36.png \
          37.png 38.png 39.png 40.png 41.png 42.png 43.png 44.png 45.png \
          46.png 47.png 48.png 49.png 50.png 51.png 52.png 53.png 54.png \
          55.png 56.png 57.png 58.png 59.png 60.png 61.png 62.png 63.png \
          64.png 65.png 66.png 67.png 68.png 69.png 70.png 71.png 72.png \
          73.png 74.png 75.png 76.png 77.png 78.png 79.png 80.png 81.png \
          82.png 83.png 84.png 85.png 86.png 87.png 88.png 89.png 90.png \
          91.png 92.png 93.png 94.png 95.png 96.png 97.png 98.png 99.png" \
          -evaluate-sequence "mean" -channel RGB -normalize ../out2/0.png

類似点

paralleleschwartzの例に基づいて、次の例を構成しました。

$ printf '%s\n' *.png | sort -V | parallel -n100 --dryrun convert {} \
   -evaluate-sequence 'mean' -channel RGB -normalize ../out2/{1}

もう一度使用する方が簡単ですsort -zV

$ printf '%s\0' *.png | sort -zV | parallel -0 -n100 --dryrun "convert {} \
   -evaluate-sequence 'mean' -channel RGB -normalize ../out2/{1}

メモ:parallelスタート操作として、上にエコー「…」があります。これにより、何が起こっているのかを視覚化するのに役立ちます。

$ convert 0.png 1.png 2.png 3.png 4.png 5.png 6.png 7.png 8.png 9.png 10.png \
         11.png 12.png 13.png 14.png 15.png 16.png 17.png 18.png 19.png \
         20.png 21.png 22.png 23.png 24.png 25.png 26.png 27.png 28.png \
         29.png 30.png 31.png 32.png 33.png 34.png 35.png 36.png 37.png \
         38.png 39.png 40.png 41.png 42.png 43.png 44.png 45.png 46.png \
         47.png 48.png 49.png 50.png 51.png 52.png 53.png 54.png 55.png \ 
         56.png 57.png 58.png 59.png 60.png 61.png 62.png 63.png 64.png \ 
         65.png 66.png 67.png 68.png 69.png 70.png 71.png 72.png 73.png \ 
         74.png 75.png 76.png 77.png 78.png 79.png 80.png 81.png 82.png \
         83.png 84.png 85.png 86.png 87.png 88.png 89.png 90.png 91.png \
         92.png 93.png 94.png 95.png 96.png 97.png 98.png 99.png \
         -evaluate-sequence mean -channel RGB -normalize ../out2/0.png

この出力がうまくいったら、スイッチをに移して--dryrunもう一度parallel実行してください。

$ printf '%s\0' *.png | sort -zV | parallel -0 -n100 convert {} \ 
    -evaluate-sequence 'mean' -channel RGB -normalize

引用する

おすすめ記事