私は走っているwget
このように:
wget --mirror --adjust-extension --convert-links --no-cookies http://tshepang.net -o log-main
次のメッセージをたくさん受け取ります。
Last-modified header missing -- time-stamps turned off.
これは、ページがローカルにあるにもかかわらず、ページが再度ダウンロードされ続けることを意味するようです。
ノート:ミラーコマンドを実行するたびに既存のファイルを再ダウンロードする必要がないようにしたいと思います。
ベストアンサー1
パラメータを追加してみました-c
か?
wgetマニュアルからの抜粋:
-c --続き
Wget 1.7以降、空でないファイルに-cを使用し、サーバーがダウンロードの継続をサポートしていない場合、Wgetは最初からダウンロードの開始を拒否し、既存のコンテンツを効果的に削除します。ぜひ最初からダウンロードするにはこのファイルを削除してください。
また、Wget 1.7以降、サーバー上のファイルと同じサイズのファイルに-cを使用すると、Wgetはファイルのダウンロードを拒否し、説明メッセージを印刷します。サーバー上のファイルがローカルファイルよりも小さい場合でも、同じ現象が発生します(最後のダウンロード試行以降にサーバーで変更されたため)。 「続行」する必要がないため、ダウンロードは発生しません。
一方、-cを使用すると、ローカルより大きいサーバー上のすべてのファイルは不完全なダウンロードと見なされ、「(長さ(リモート) - 長さ(ローカル))」バイトのみがダウンロードされ、ファイルに追加されます。ローカルファイルの終わり。場合によっては、この動作が望ましい場合があります。たとえば、wget -cを使用して、データコレクションまたはログファイルに追加された新しい部分のみをダウンロードできます。
私が知っている限り、すでにダウンロードされていて同じサイズのファイルはスキップする必要があります。