Python全系列 教程
3567个小节阅读:5929.6k
目录
鸿蒙应用开发
C语言快速入门
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本,未来主流的版本
人工智能 教程
顺势而为,AI创新未来
大厂算法 教程
算法,程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
下载中间件是Scrapy请求/响应处理的钩子框架。这是一个轻、低层次的应用。
通过可下载中间件,可以处理请求之前和请求之后的数据。
每个中间件组件都是一个Python类,它定义了一个或多个以下方法,我们可能需要使用方法如下:
process_request()
process_response()
当每个request通过下载中间件时,该方法被调用
必须返回以下其中之一
返回 None
返回一个 Response 对象
返回一个 Request 对象
raise IgnoreRequest
参数:
当下载器完成http请求,传递响应给引擎的时候调用
process_response()应该是:返回一个 Response
对象,则返回一个 Request
对象或引发 IgnoreRequest
例外情况。
如果它返回 Response
(可能是相同的给定响应,也可能是全新的响应),该响应将继续使用 process_response()
链中的下一个中间件
如果它返回一个 Request
对象时,中间件链将暂停,返回的请求将重新计划为将来下载。这与从返回请求的行为相同 process_request()
如果它引发了 IgnoreRequest
异常,请求的errback函数 (Request.errback
)。如果没有代码处理引发的异常,则忽略该异常,不记录该异常(与其他异常不同)。
参数
Request
object) -- 发起响应的请求Response
object) -- 正在处理的响应Spider
object) -- 此响应所针对的蜘蛛实时效果反馈
1. 关于Scrapy, 下载中间件说法错误的是?
A 下载中间件可以重写process_request()方法
B 下载中间件可以重写process_response()方法
C 下载中间件可以阻断请求功能
D 下载中间件可以提高爬取速度
答案
1=>D