cURLを使用してウェブサイトのすべてのパスを取得する方法

cURLを使用してウェブサイトのすべてのパスを取得する方法

curl //website// 私にソースコードを提供します。しかし、そこでどのように各固有パスをフィルタリングして数を取得できますか?

質問:

コンピュータでcURLを使用して「https://www.inlanefreight.com」ウェブサイトのソースコードを取得し、そのドメインへのすべての一意のパスをフィルタリングします。これらのパスの数を回答として送信してください。

質問では、「UNIQUE PATHS」が何を意味するのかわかりませんが、その意味は実行から得られたものと似ていると仮定します。 $wget -p


この方法を使用しましたが、何とか動作しました

wget --spider --recursive https://www.inlanefreight.com

が表示されます

Found 10 broken links.

https://www.inlanefreight.com/wp-content/themes/ben_theme/fonts/glyphicons-halflings-regular.svg
https://www.inlanefreight.com/wp-content/themes/ben_theme/fonts/glyphicons-halflings-regular.eot
https://www.inlanefreight.com/wp-content/themes/ben_theme/images/testimonial-back.jpg
https://www.inlanefreight.com/wp-content/themes/ben_theme/css/grabbing.png
https://www.inlanefreight.com/wp-content/themes/ben_theme/fonts/glyphicons-halflings-regular.woff
https://www.inlanefreight.com/wp-content/themes/ben_theme/fonts/glyphicons-halflings-regular.woff2
https://www.inlanefreight.com/wp-content/themes/ben_theme/images/subscriber-back.jpg
https://www.inlanefreight.com/wp-content/themes/ben_theme/fonts/glyphicons-halflings-regular.eot?
https://www.inlanefreight.com/wp-content/themes/ben_theme/images/fun-back.jpg
https://www.inlanefreight.com/wp-content/themes/ben_theme/fonts/glyphicons-halflings-regular.ttf

FINISHED --2020-12-06 05:34:58--
Total wall clock time: 2.5s
Downloaded: 23 files, 794K in 0.1s (5.36 MB/s)

下部に。 23のダウンロードと10の壊れたリンクを合計すると、私が得る唯一のパスである33が正解であると仮定します。

ベストアンサー1

この方法を使用しましたが、何とか動作しました

$ wget --spider --recursive https://www.inlanefreight.com

これは表示されます -

Found 10 broken links.

https://www.inlanefreight.com/wp-content/themes/ben_theme/fonts/glyphicons-halflings-regular.svg
https://www.inlanefreight.com/wp-content/themes/ben_theme/fonts/glyphicons-halflings-regular.eot
https://www.inlanefreight.com/wp-content/themes/ben_theme/images/testimonial-back.jpg
https://www.inlanefreight.com/wp-content/themes/ben_theme/css/grabbing.png
https://www.inlanefreight.com/wp-content/themes/ben_theme/fonts/glyphicons-halflings-regular.woff
https://www.inlanefreight.com/wp-content/themes/ben_theme/fonts/glyphicons-halflings-regular.woff2
https://www.inlanefreight.com/wp-content/themes/ben_theme/images/subscriber-back.jpg
https://www.inlanefreight.com/wp-content/themes/ben_theme/fonts/glyphicons-halflings-regular.eot?
https://www.inlanefreight.com/wp-content/themes/ben_theme/images/fun-back.jpg
https://www.inlanefreight.com/wp-content/themes/ben_theme/fonts/glyphicons-halflings-regular.ttf

FINISHED --2020-12-06 05:34:58--
Total wall clock time: 2.5s
Downloaded: 23 files, 794K in 0.1s (5.36 MB/s)

-下部に。それでは、23のダウンロードと10の壊れたリンクが追加され、33に達する唯一のパスが正解であるとしましょう。

おすすめ記事