サイトをミラーリングしようとしたときにwgetがファイルをスキップするのはなぜですか?

サイトをミラーリングしようとしたときにwgetがファイルをスキップするのはなぜですか?

私はこのウェブサイトでwgetを実行しました:http://demo.codestag.com/geeklove/しかし、index.htmlだけを返します。

wget --recursive --no-clobber --page-requisites --html-extension --convert-links --restrict-file-names=windows --domains --no-parent http://demo.codestag.com/geeklove

私は次のようにユーザーエージェントをなりすまします。http://www.askapache.com/linux/wget-header-trick.html#Testing_Wget_Trickしかし、まだ動作しません。

--debug オプションを使用すると、他のすべてのページをスキップして表示されます。

ベストアンサー1

オプションは、従う--domainsドメインのリストを指定します。このオプションの後には何も指定しないため、wgetは直接指定されたファイルのみをダウンロードします。

--domains demo.codestag.comこのオプションを削除するか、次に置き換えるとロボット.txtこのサーバーから。このファイルを無視するには、を指定する必要があります-e robots=off

-dさらに問題がある場合は、()を指定して--debugwgetに問題があるかどうかを確認するのが常に役立ちます。

おすすめ記事