www.example.com
次のページを含むウェブサイトがあるとします。
www.example.com/page1
www.example.com/unknown
www.example.com/unknown
次の出力を生成するWgetコマンドはありますか?
page1
page2
page3
ウェブサイトの構造が次の場合:
www.example.com/xxxx/page1
www.example.com/xxxx/page2
www.example.com/xxxx/page3
本質的に、私はサーバーのIPアドレスを持っていて、興味のあるものの中からダウンロードできるものがあるかどうかを確認するためにサーバーに保存されているすべてのページを一覧表示できるようにしたいと思います。
たとえば、私はこれを行うことができ、wget -r www.example.com/page1
私が興味を持っている他のディレクトリ(page2
など)があるかどうかを知りたいと思います。page3
このオプションとは異なるオプションを見てみましたが、--spider
楽しかったです。
ベストアンサー1
クライアントではこれを行うことはできませんが、サイトマップを閲覧でき、時にはhttp://www.example.com/robots.txtファイルにはリストを含めることができます。 Googleにリストをリクエストする方法がある場合、またはリターンマシンに最後のリストがある場合があります。