☰

最初の例外が発生したときに、Scrapy Crawl を中断して終了させるにはどうすればよいですか? 質問する

tag-icon • tag-icon python exception scrapy
最初の例外が発生したときに、Scrapy Crawl を中断して終了させるにはどうすればよいですか? 質問する

開発上の理由から、最初の例外 (スパイダーまたはパイプライン内) が発生したらすぐに、すべてのスクレイピー クローリング アクティビティを停止したいと思います。

何かアドバイス？

ベストアンサー1

スパイダーでは、投げるだけで閉じるスパイダー例外。

def parse_page(self, response):
    if 'Bandwidth exceeded' in response.body:
        raise CloseSpider('bandwidth_exceeded')

その他（ミドルウェア、パイプラインなど）については、手動で呼び出すことができます。閉じるakhterが述べたように。

おすすめ記事