動的ダウンロードリンクを備えたcURLを使用して記事をダウンロードする

動的ダウンロードリンクを備えたcURLを使用して記事をダウンロードする

ダウンロードしようとしています。これ出版されたジャーナル記事を使用してくださいcURL。オープンアクセスのホームページなので、誰でも記事の閲覧やダウンロードに問題はありません。その後、抽出するとpdfurl変わります。

それからPDFをダウンロードしようとしています。

curl -L -o test.pdf "http://www.sciencedirect.com/science/article/pii/S0378426612000817/pdfft?md5=6a85f34def09dd5cfb1d1b8feded0d51&pid=1-s2.0-S0378426612000817-main.pdf"

ただし、常にホームページにリダイレクトしてから、「test.pdf」というHTMLページにダウンロードしてください。

ベストアンサー1

curlwgetリダイレクトがデフォルトとは異なる方法で処理されているようです。 URLを直接ダウンロードするにはいくつかのリダイレクトが必要です。最初のリダイレクト後にHTTP Refererヘッダーを正しく設定する必要があります(そうでない場合はHTMLページが表示されます)。

まずcurl、withで位置リダイレクトを有効にして-Lから、curlwithでリファラーヘッダーの自動処理を有効にする必要があります--referer ";auto"。つまり、

curl -L --referer ";auto" -o test.pdf URL-for-direct-download

おすすめ記事