架构概述¶本文档描述了 Scrapy 的架构及其组件如何交互。概述¶下图显示了 Scrapy 架构及其组件的概述以及系统内部发生的数据流的轮廓（由红色箭头所示）。下面包含了这些组件的简要描述以及有关它们的更详细信息的链接。下面还描述了数据流。数据流¶Scrapy中的数据流由执行引擎控制，流程如下：引擎从Spider获取初始爬行 请求。引擎在调度程序中调度请求 并请求下一个要抓取的请求。调度程序将下一个请求返回给引擎。引擎通过 下载器中间件将请求发送到 下载器（请参阅 参考资料 ）。process_request()一旦页面完成下载， 下载器就会生成一个响...
