私はxargsを使って多数のファイルを並列にダウンロードしています。私が経験している問題は、いくつかのダウンロードがしばらくして失敗することです。したがって、リストを実行すると、すべてのダウンロードが正常に完了しないため、コマンドを再実行する必要があります。
cat links.txt | xargs -n 2 -P 16 wget -c -q -O
正常にダウンロードしたファイル名をファイルに出力する方法はありますか?私が見つけることができる唯一の解決策は、wgetログファイルを解析することです。
ベストアンサー1
代わりにGNUパラレルを使用してくださいxargs
。
cat links.txt | parallel --joblog my.log -n 2 -P 16 wget -c -q -O
今Exitval
の熱を見てくださいmy.log
。
終了値で再試行したい場合、 GNU Parallelに--retries
は操作を再試行するオプションがあります。--retry-failed