ダウンロード中ですたくさん私の研究データです。私たちのキャンパスのスーパーコンピュータにデータをダウンロードしていますが、毎時間データのダウンロードが中断されます。 OSがパイプラインを一時停止した場合は、ダウンロードしたファイルを表すテキストファイルのすべての行を削除する必要があります。難しくありませんが、迷惑をかけたくありません。これが私がすべてをダウンロードする方法です
cat subset.txt | tr -d '\r' | xargs -P 4 -n 1 curl -LJO -s -n --globoff -c ~/.urs_cookies -b ~/.urs_cookies
各URLは私に渡され、curl4xargsつの並列ダウンロードを提供します。パイプライン全体を一時停止して後でパイプラインを再開する方法はありますか？
ベストアンサー1
あなたはできcurlます並列ダウンロードオプションがあります-Z。あなたはする必要がありますバージョン7.66.0以降この目的のために、7.66以降のバージョンでは、より多くの並列処理関連フラグを追加したことに注意してください。
最も簡単なコマンドは次のとおりです。
curl --config myconfig.txt -Z ...
myconfig.txtこの形式のURLのリストがあります（出力の名前変更、ダウンロードの再開などの他のフラグを追加できます）。
url = "http://example.com/a"
url = "http://example.com/j"
構成ファイルで詳細情報を見つけることができます。彼らのウェブサイトから。