架构概述¶本文档描述了 Scrapy 的架构及其组件如何交互。概述¶下图显示了 Scrapy 架构及其组件的概述以及系统内部发生的数据流的轮廓(由红色箭头所示)。下面包含了这些组件的简要描述以及有关它们的更详细信息的链接。下面还描述了数据流。数据流¶Scrapy中的数据流由执行引擎控制,流程如下:引擎从Spider获取初始爬行 请求。引擎在调度程序中调度请求 并请求下一个要抓取的请求。调度程序将下一个请求返回给引擎。引擎通过 下载器中间件将请求发送到 下载器(请参阅 参考资料 )。process_request()一旦页面完成下载, 下载器就会生成一个响...