Scrapy引擎¶

引擎负责控制系统所有组件之间的数据流，并在发生某些操作时触发事件。有关更多详细信息，请参阅 上面的数据流部分。

调度程序¶

调度程序接收来自引擎的请求，并将它们排队以便稍后在引擎请求时将它们提供给它们（也提供给引擎）。

下载器¶

下载器负责获取网页并将其提供给引擎，而引擎又将它们提供给蜘蛛。

蜘蛛¶

蜘蛛是由 Scrapy 用户编写的自定义类，用于解析响应并从中提取项目或要遵循的其他请求。有关详细信息，请参阅蜘蛛。

项目管道¶

项目管道负责在蜘蛛提取（或抓取）项目后对其进行处理。典型的任务包括清理、验证和持久化（例如将项目存储在数据库中）。有关详细信息，请参阅项目管道。

下载器中间件¶

下载器中间件是位于引擎和下载器之间的特定挂钩，当请求从引擎传递到下载器时处理请求，以及从下载器传递到引擎的响应。

如果您需要执行以下操作之一，请使用下载程序中间件：

• 在请求发送到下载器之前处理请求（即在 Scrapy 将请求发送到网站之前）；

• 在将收到的响应传递给蜘蛛之前更改它；

• 发送一个新的请求，而不是将收到的响应传递给蜘蛛；

• 将响应传递给蜘蛛而不获取网页；

• 默默地放弃一些请求。

有关详细信息，请参阅下载器中间件。

蜘蛛中间件¶

蜘蛛中间件是位于引擎和蜘蛛之间的特定钩子，能够处理蜘蛛输入（响应）和输出（项目和请求）。

如果需要，请使用 Spider 中间件

• 蜘蛛回调的后处理输出 - 更改/添加/删除请求或项目；

• 后处理start_requests；

• 处理蜘蛛异常；

• 根据响应内容对某些请求调用 errback 而不是回调。

有关详细信息，请参阅Spider 中间件。