目录Python全系列 教程
3567个小节阅读：5931k
目录
鸿蒙应用开发
C语言快速入门
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本，未来主流的版本
人工智能 教程
顺势而为，AI创新未来
大厂算法 教程
算法，程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
Scrapy为开发者设置好了启动好的对象。因此，我们通过脚本即可启动Scrapy项目
在项目的目录下，创建脚本，比如项目名为：scrapy01，创建脚本的路径为scrapy01\scrapy01\脚本.py
使用cmdline
xxxxxxxxxxfrom scrapy.cmdline import executeexecute(['scrapy', 'crawl', '爬虫名字'])使用CrawlerProcess
xxxxxxxxxxfrom scrapy.crawler import CrawlerProcessfrom spiders.baidu import BaiduSpider
process = CrawlerProcess()process.crawl(BaiduSpider)process.start()使用CrawlerRunner
xxxxxxxxxxfrom twisted.internet import reactorfrom spiders.baidu import BaiduSpiderfrom spiders.taobao import TaoBaoSpiderfrom scrapy.crawler import CrawlerRunnerfrom scrapy.utils.log import configure_logging
configure_logging() # 开启日志出输出runner = CrawlerRunner()runner.crawl(BaiduSpider)runner.crawl(TaoBaoSpider)d = runner.join()d.addBoth(lambda _: reactor.stop())reactor.run()命令行运行
xxxxxxxxxxpython 脚本.pyVSCode运行
右键脚本编辑区空白处==> run python file in terminal(运行python文件在命令行)
VSCode调试运行
打开脚本文件 ==> 选择调试运行
实时效果反馈
1. 关于Scrapy, 启动爬虫说法错误的是？
A 可以通过scrapy.cmdline.execute启动
B 可以通过scrapy.crawler.CrawlerProcess启动
C 可以通过scrapy.crawler.CrawlerRunner启动
D 可以通过scrapy.crawler.CrawlerThread 启动
答案
1=>D