wgetを使用して正常に完了したダウンロードを記録する方法

wgetを使用して正常に完了したダウンロードを記録する方法

私はxargsを使って多数のファイルを並列にダウンロードしています。私が経験している問題は、いくつかのダウンロードがしばらくして失敗することです。したがって、リストを実行すると、すべてのダウンロードが正常に完了しないため、コマンドを再実行する必要があります。

cat links.txt | xargs -n 2 -P 16 wget -c -q -O

正常にダウンロードしたファイル名をファイルに出力する方法はありますか?私が見つけることができる唯一の解決策は、wgetログファイルを解析することです。

ベストアンサー1

代わりにGNUパラレルを使用してくださいxargs

cat links.txt | parallel --joblog my.log -n 2 -P 16 wget -c -q -O

Exitvalの熱を見てくださいmy.log

終了値で再試行したい場合、 GNU Parallelに--retriesは操作を再試行するオプションがあります。--retry-failed

おすすめ記事