wget
ダウンロードする必要があるファイルのURLを含むcsvファイルから約330,000の科学ファイルをダウンロードしています。だから私はコマンドを使用しています
wget -i all_the_urls.csv
私のファイルはall_the_urls.csv
次のとおりです
http://dr16.sdss.org/sas/dr16/sdss/spectro/redux/v5_13_0/spectra/lite/11040/spec-11040-58456-0109.fits
http://dr16.sdss.org/sas/dr16/sdss/spectro/redux/v5_13_0/spectra/lite/11068/spec-11068-58488-0780.fits
http://dr16.sdss.org/sas/dr16/sdss/spectro/redux/v5_13_0/spectra/lite/11068/spec-11068-58488-0240.fits
ファイルはそれぞれ約250kBと小さい。しかし、あまりにも多く、時々ダウンロードを中断して再起動する必要があるかもしれません。wget
URLリストの先頭ではなく、最後にダウンロードしたファイルの後に引き続きダウンロードできるようにするためのコマンドはありますか?
そのコマンドがない場合は、次のいずれかの回避策を使用する方法を教えてください(わかりませんwget
)。
- ファイルをダウンロードしたら、
wget
ファイルのURLを削除してください。all_the_urls.csv
- 新しいファイルをダウンロードする前に、そのファイルがすでにダウンロード
wget
されていることを確認し、その場合は次のファイルに移動します(ただし、この確認にかかる時間は不明です)。
他のアイデアも大歓迎です! tnx
ベストアンサー1
-c
続行するには、-nc
スポイラーが機能しないようにしてください。
mirror
文書が不足していても見てください。