目录Python全系列 教程
3567个小节阅读：5929.2k
目录
鸿蒙应用开发
C语言快速入门
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本，未来主流的版本
人工智能 教程
顺势而为，AI创新未来
大厂算法 教程
算法，程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
scrapy-splash 教程 — splash中文文档 0.1 文档
https://splash-cn-doc.readthedocs.io/zh_CN/latest/scrapy-splash-toturial.html
xxxxxxxxxxpip install scrapy-splash==0.8.0
使用splash解析，要在配置文件中设置splash服务器地址：
xxxxxxxxxxSPLASH_URL = 'http://localhost:8050/' 将splash middleware添加到DOWNLOADER_MIDDLEWARE中
xxxxxxxxxxDOWNLOADER_MIDDLEWARES = {'scrapy_splash.SplashCookiesMiddleware': 723,'scrapy_splash.SplashMiddleware': 725,'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,}Enable SplashDeduplicateArgsMiddleware
xxxxxxxxxxSPIDER_MIDDLEWARES = { 'scrapy_splash.SplashDeduplicateArgsMiddleware': 100}这个中间件需要支持cache_args功能; 它允许通过不在磁盘请求队列中多次存储重复的Splash参数来节省磁盘空间。如果使用Splash 2.1+，则中间件也可以通过不将这些重复的参数多次发送到Splash服务器来节省网络流量
配置消息队列所使用的过滤类
xxxxxxxxxxDUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'
配置消息队列需要使用的类
xxxxxxxxxxHTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage'
xxxxxxxxxximport scrapyfrom scrapy_splash import SplashRequestclass TuniuSpider(scrapy.Spider): name = 'tuniu' allowed_domains = ['tuniu.com'] def start_requests(self): yield SplashRequest('http://www.tuniu.com/', args={'wait': 0.5})
def parse(self, response): print(response.text)xxxxxxxxxxclass TuniuSpider(scrapy.Spider): name = 'tuniu2' allowed_domains = ['tuniu.com']
def start_requests(self): url = 'http://www.tuniu.com/' lua=''' function main(splash,args) splash:go(args.url) splash:wait(1.5) return splash:html() end ''' yield SplashRequest(url,callback=self.parse,args={'lua_source':lua},endpoint='execute') def parse(self, response): with open('a2.html','wb') as f: f.write(response.body)实时效果反馈
1. 关于Splash与Scrapy结合使用, 说法错误的是？
A 需要安装3方插件
B 需要配置splash服务地址
C 需要修改请求Request对象
D 需要修改去重插件
答案
1=>C