Scrapy 中 SPIDER_MIDDLEWARES 和 DOWNLOADER_MIDDLEWARES 的区别

<think>嗯，用户想了解Scrapy框架中的HttpErrorMiddleware的用法和错误处理。首先，我需要回忆一下Scrapy中间件的基本结构，特别是下载器中间件。HttpErrorMiddleware属于下载器中间件的一种，主要负责处理HTTP错误状态码。 用户可能遇到了HTTP请求返回了非200状态码的情况，比如404或500错误，而Scrapy默认可能忽略这些错误，导致用户需要自己处理。这时候HttpErrorMiddleware的作用就显现出来了，它允许用户配置哪些状态码需要被视为错误，从而触发相应的处理机制。 接下来，我需要确认HttpErrorMiddleware的工作流程。根据Scrapy的文档，这个中间件会在收到响应时检查状态码。如果状态码在配置的允许范围内，就继续处理响应；否则，会抛出一个HttpError异常。用户可能需要在爬虫中捕获这个异常，或者通过其他中间件来处理。 然后，用户可能需要知道如何配置这个中间件，比如如何设置HTTPERROR_ALLOWED_CODES参数，允许某些状态码不被视为错误。例如，有些API可能返回201或301状态码，但用户仍然希望处理这些响应。这时候需要修改设置，将这些状态码添加到允许列表中。 另外，用户可能想了解如何处理被HttpErrorMiddleware抛出的异常。通常，可以在爬虫中编写异常处理逻辑，或者在中间件中实现process_spider_exception方法来捕获和处理这些错误。例如，记录日志、重试请求或收集统计信息。 还需要注意引用中的内容，比如引用[3]提到process_spider_input是正序，而其他如process_spider_output是倒序。这可能影响到中间件的执行顺序，但HttpErrorMiddleware属于下载器中间件，可能执行顺序不同，需要确认。 最后，用户可能需要具体的代码示例，如何配置中间件，如何捕获异常，以及如何调整允许的状态码。此外，相关问题部分应该涵盖配置方法、异常处理机制、中间件的执行顺序，以及如何忽略特定错误码等。</think>### Scrapy框架中HttpErrorMiddleware的用法与错误处理 #### 1. 核心功能解析 HttpErrorMiddleware是Scrapy内置的下载器中间件，主要用于处理HTTP响应状态码过滤。当服务器返回的HTTP状态码在$400-599$范围内时，该中间件会触发错误处理流程，默认行为是抛出$HttpError$异常[^3]。 #### 2. 配置参数说明 ```python # settings.py HTTPERROR_ALLOWED_CODES = [404] # 允许的HTTP错误码 HTTPERROR_ALLOW_ALL = False # 是否允许所有状态码 ``` #### 3. 异常处理机制 当中间件检测到非法状态码时，会触发如下处理流程： ``` Request -> Downloader -> HttpErrorMiddleware -> Spider Middleware -> Spider ↑ Error ↓ Error Handling Pipeline ``` #### 4. 自定义错误处理示例 ```python from scrapy.spidermiddlewares.httperror import HttpError from twisted.python.failure import Failure class MySpider(scrapy.Spider): def parse(self, response): if response.status == 404: self.logger.warning("特殊处理404页面") def errback(self, failure: Failure): if failure.check(HttpError): response = failure.value.response if response.status == 503: yield Request(response.url, callback=self.parse, dont_filter=True) ``` #### 5. 中间件执行顺序 HttpErrorMiddleware的优先级为$50$（数值越小优先级越高），其处理顺序受中间件加载顺序影响。可以通过调整设置中的$DOWNLOADER_MIDDLEWARES$字典顺序来改变执行优先级[^2]。