☰

カールに要求間の一時停止が欠落しており、wgetに動的ファイル出力名がありません。連続範囲ファイルをダウンロードするために事前に作成された代替方法はありますか？

tag-icon • tag-icon shell curl wget
カールに要求間の一時停止が欠落しており、wgetに動的ファイル出力名がありません。連続範囲ファイルをダウンロードするために事前に作成された代替方法はありますか？

curlどちらも連続したファイル範囲（in、in）をダウンロードする機能を提供しますが、wgetどちらも欠点があります。つまり、シーケンスの各ダウンロード間で簡単に一時停止する方法を提供しません。一部のサーバーは数回のクイックダウンロード後にダウンロードを中断しますが、ダウンロードの間に一時停止することは丁寧で適切であり、必ずしも良いクローラー市民になることをお勧めします。たとえば、誰かが各要求間で5秒間一時停止したい場合は、追加のスクリプトなしでこれを行う方法がないことを理解してください。これは、サポートの意味を別々の要求にし、順次範囲の組み込み条項を本質的に破る。[1-100]curl{1..100}wgetcurl

この問題に対する解決策は、上記の所望の結果を得るためにwget便利なフラグを使用することである。--wait=5残念ながら、wget他の問題もあります。 URLの特殊文字処理に問題があるようで、範囲を{1..100}認識できないようでURLの前後に引用符を使用できないようです。これは、特殊文字を手動でエスケープする必要があることを意味します。これは管理可能ですが面倒です。

しかし、もっと重要なのは、wget動的に名前付き出力がサポートされていないことです（この-Oフラグはここでは役に立ちません）。提供された利便性にもかかわらず、組み込みのシーケンシャルスコープサポートcurlをバイパスし、個々の要求のスクリプトコレクションを作成したり、ダウンロード後にファイル名を編集または編集しなくても、同じ動的-o "#1.jpg"結果を達成することは不可能です。wgetrename

これはかなり一般的な作業のようです。一連の連続したソースファイルをダウンロードし、各リクエスト間で丁寧に一時停止し、出力の名前を動的に変更します。選択肢が欠けており、上記の2つの問題を克服していますかcurl？wget1) 各リクエスト間で一時停止 2) ファイル名を動的に出力します。

ベストアンサー1

URLの特殊文字の処理に問題があるようで、{1..100}の範囲が認識されないようで、URLの前後に引用符を使用できません。

これは、このスコープ構文が実際の機能ではなく、引数をwget拡張するシェル（bashなど）の機能であるためです。今後に渡してwget比較します。

$ echo abc{1..5}
abc1 abc2 abc3 abc4 abc5

または

$ ruby -e 'p ARGV' abc{1..5}
["abc1", "abc2", "abc3", "abc4", "abc5"]

パラメータを引用すると、シェルはパラメータを拡張しません。

$ echo 'abc{1..5}'
abc{1..5}

ただし、範囲を除くすべてを参照できます。

$ echo 'abc'{1..5}'def'
abc1def abc2def abc3def abc4def abc5def

しかしもっと重要なのは、wgetが動的に名前付き出力をサポートしていないことです。

wgetこれらの範囲は関数ではないため、これらの範囲を処理できる関数はありませんwget。

いいえ、1つのコマンドでこれをすべて行うことはできないようです。しかし、それはまだオネライナーに入れることができます。

for i in {1..100}; do curl "https://example.com/${i}.jpg" -o "output_${i}.jpg"; sleep 5; done

UNIXツールは、非常に集中的でスクリプト作成が容易になるように設計されています。そのうちのいくつかはすでに一般的なタスクを一度に実行するためのさまざまなオプションを提供していますが、すべてのユースケースを独自に処理することはできません。

おすすめ記事