wgetでクロールされたリンクのリファラーを取得または検索する方法はありますか？
リンクが400エラーを返したとします。 wgetは、エラーURLのリファラーではなく、400エラーが発生したURLのみを表示します。可能であれば、Linuxのwgetに似たユーティリティを提供するか、それを実行するためのwgetオプションを提供してください。
ベストアンサー1
リファラーは要求ヘッダーの一部として渡されます。 .を使用してデバッグをオンにすると、Wgetはそれを印刷します-d。次にgrepを使用して「リファラー」を見つけます（デバッグ出力がstderrに書き込まれることに注意してください）。