Ctrl + uとカールを使用して別のHTMLページを取得します。

Ctrl + uとカールを使用して別のHTMLページを取得します。

このページにアクセスすると(https://imgur.com/user/Ultraruben/subscribed例)を押して を押すとCtrl+uウェブページが表示されます。コマンドラインからhtmlを抽出しようとすると、他の結果がcurl <url>表示さcurl -L <url>れます。 lynx -dump <url>(JavaScriptなし)は動作しません。

ブラウザを使用するのと同じように(操作するツールを使用して)コマンドラインを介して実行する必要がありますCtrl+u

Opera ブラウザで取得した内容は次のとおりです。https://justpaste.it/42ci1 カールを使用すると、これが発生します。https://justpaste.it/9oy3g

ベストアンサー1

ウェブサイトでは、見ている顧客の種類に応じてさまざまなコンテンツを提供するのが一般的です。

たとえば、一部のサイトでは非常に古い携帯電話やWindows PCをサポートするよう努めています。セキュリティの観点からは、Internet Explorer 5のユーザーに更新が必要であることを知りたいのですが、お金のない人に新しいラップトップを購入する必要があることを知らせるのではなく、一般の人々に健康情報を提供することはあなたの仕事です。

時々、ブラウザを満足させるために、特に奇抜なウェブサイトで古いゲームデバイスをサポートしたり、サイトの画面最適化バージョンを提供したりする必要があります。

とにかく、ここで何が起こる可能性が最も高いか。あなたのカールが「こんにちは、私はカールです」を送信し、Webサーバーはブラウザではなく自動化ツールを特別にターゲットとするページで応答します。

したがって、最初にカールにデフォルトのブラウザと同じユーザーエージェントを使用するように指示した場合は、問題が解決したことを確認してください。たぶんこれが問題を解決したかもしれません。

LynxがJavaScriptを実行していないため動作しないと言う場合は、最新のブラウザが実行するすべてのJavaScript機能を実行する必要があります。つまり、最新のブラウザである必要があります。コマンドラインでブラウザを操作する方法はいくつかあります。基本的にあなたが探しているものネットワークドライバ

数行のスクリプトを書かないと動作しません。MozillaのWebDriverドキュメント始めるのに役立つ例があります。ソースコードをインポートする前に、JavaScriptが完了できるように少しの待ち時間(ロードが完了したときと数分の1秒)を追加する必要があります。この例では、特定の要素が存在し始めるのを待ちながらこれを行います。

おすすめ記事