Webページをディレクトリのように扱う

通常、ディレクトリ内のファイルを一覧表示する標準的な方法がないため、Webサイトをディレクトリに移動することは不可能です。実際、Webにはディレクトリの概念さえありません。http://foo/bar/wibbleディレクトリから呼び出されたファイルを処理するかどうかは、サーバーを設計した方法の問題ですが、必ずしもそうではありません。スラッシュの数によって内容が異なる場合があります (たとえば、別の内容を返します)、これはファイル パス ツリーとして表示できません。wibblebarhttp://foo/bar/wibblehttp://foo/bar/wibble/http://foo/bar//wibble

ここで他の人が主張するのとは異なりはいリモートファイルは、ローカルファイルと同様に参照できます。たとえば、cdFTPサイトがインストールされている場合は、次の方法でサイトにアクセスできます。マイクフュージョンOS XではgvfsのインストールGnomeを使ったLinuxではカールファイルシステムLinuxまたはOS XでAVFS。これらすべての仕事はヒューズ、デフォルトではすべてをディレクトリツリーとして公開するフレームワークです。

ただし、Web サーバーには実際にそのようなツリー構造がないため、Web サーバーをディレクトリ ツリーとして公開する一般的な方法はありません。さらに、同じURLに対する要求は、クライアントの言語設定、ユーザーエージェント、Cookieなどに応じて異なるコンテンツを返すことがあります。

特定のURLにアクセスすると、目的のサーバーがディレクトリのリストのように見えるページを提供します。ただし、ページの形式はサーバーで指定され、ブラウザからFTPサイトにアクセスするときの形式とは異なります。原則として、クライアントはそれを解析してディレクトリリストを生成できます。httpfsこれは可能ですが、サーバーサイトのディレクトリリストの出力形式は特定の方法でのみサポートされます。実際、HTTP経由でディレクトリツリーにアクセスするための標準プロトコルがあります。 ネットワークDAV- しかし、頻繁には使用されません。私はApacheの標準ディレクトリリスト解析の実装について知りません。これがあなたのサイトによって提供されるサービスであると仮定します。

コマンドラインからファイルをダウンロードするには、次のものを使用できます。curl。ディレクトリ内のすべてのファイルをダウンロードするには、次のものを使用できます。得る（OSXには含まれていませんが、パッケージマネージャを介してインストールできます）：

wget -r -np -l1 http://www0.cs.ucl.ac.uk/staff/M.Herbster/GI07/week5/

wget -r -np http://…同様cp -r http://… .ですが、再帰は異なる動作をします。cp再帰的に機能するサブディレクトリを含むそのファイルを列挙してディレクトリをコピーし、同じ内容のファイルを作成して通常のファイルをコピーします。 Webでは、wgetHTMLページのすべてのリンクをたどると、ディレクトリと通常のファイルの間に違いはありません。このオプションは再帰コピーを-r指示し、「上記」を指すリンクに従わないように指示します。これはテキストの問題です。ターゲットの先頭にあるリンクだけに従います（同じ結果を得る相対リンクのルールを使用）。このオプションは、1レベル後に繰り返しを停止するように指示する追加の安全対策です（つまり、指定されたURLのHTMLファイルへのリンクに沿って停止します）。これは必須ではありませんが、気付かなかったので避けることをお勧めします。追加のリンクを使用すると、もともと期待していたよりもはるかに多くの素材を提供する繰り返しダウンロードが発生する可能性があります。wget-nphttp://www0.cs.ucl.ac.uk/staff/M.Herbster/GI07/week5/-l1