scrapy shell -s USER_AGENT='custom user agent' 'http://www.example.com'を変更できることは知っていますUSER_AGENTが、リクエスト ヘッダーを追加するにはどうすればよいでしょうか?
ベストアンサー1
現在、CLI で直接ヘッダーを追加する方法はありませんが、次のような方法があります。
$ scrapy shell
...
...
>>> from scrapy import Request
>>> req = Request('yoururl.com', headers={"header1":"value1"})
>>> fetch(req)
これにより、現在のシェル情報が新しい要求で更新されます。