重複せずに複数のwgetファイルを中断してダウンロードし続けるには?

重複せずに複数のwgetファイルを中断してダウンロードし続けるには?

wgetダウンロードする必要があるファイルのURLを含むcsvファイルから約330,000の科学ファイルをダウンロードしています。だから私はコマンドを使用しています

wget -i all_the_urls.csv

私のファイルはall_the_urls.csv次のとおりです

http://dr16.sdss.org/sas/dr16/sdss/spectro/redux/v5_13_0/spectra/lite/11040/spec-11040-58456-0109.fits
http://dr16.sdss.org/sas/dr16/sdss/spectro/redux/v5_13_0/spectra/lite/11068/spec-11068-58488-0780.fits
http://dr16.sdss.org/sas/dr16/sdss/spectro/redux/v5_13_0/spectra/lite/11068/spec-11068-58488-0240.fits

ファイルはそれぞれ約250kBと小さい。しかし、あまりにも多く、時々ダウンロードを中断して再起動する必要があるかもしれません。wgetURLリストの先頭ではなく、最後にダウンロードしたファイルの後に引き続きダウンロードできるようにするためのコマンドはありますか?

そのコマンドがない場合は、次のいずれかの回避策を使用する方法を教えてください(わかりませんwget)。

  • ファイルをダウンロードしたら、wgetファイルのURLを削除してください。all_the_urls.csv
  • 新しいファイルをダウンロードする前に、そのファイルがすでにダウンロードwgetされていることを確認し、その場合は次のファイルに移動します(ただし、この確認にかかる時間は不明です)。

他のアイデアも大歓迎です! tnx

ベストアンサー1

-c続行するには、-ncスポイラーが機能しないようにしてください。

mirror文書が不足していても見てください。

おすすめ記事