目录Python全系列 教程
3567个小节阅读：5931k
目录
鸿蒙应用开发
C语言快速入门
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本，未来主流的版本
人工智能 教程
顺势而为，AI创新未来
大厂算法 教程
算法，程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
若想部署项目，需要有个Scrapy项目
打开Scrapy工程目录，目录中会有一个叫scrapy.cfg的文件，文件的内容如下：
xxxxxxxxxx[settings]default = my_spider.settings
[deploy:ms] # demo是指这个deploy的名称，自己命名，可以多个。（后面有用到） url = http://localhost:6800/project = myspider通过scrapyd-deploy部署，要装一个scrapyd-client
xxxxxxxxxxpip install scrapyd-client在项目路径下执行
xxxxxxxxxxscrapyd-deploy 工程名 -p 项目名
xxxxxxxxxxcurl http://ip:6800/schedule.json -d project=项目名 -d spider=爬虫名
curl http://192.168.126.131:6800/schedule.json -d project=myspider -d spider=baidu
注意
在windodws中使用 cmd运行命令
注意
如果不先启动scrapyd就会无法部署工程
xxxxxxxxxx# 停止爬虫curl http://localhost:6800/cancel.json -d project=项目名称 -d job=jobid# 列出项目curl http://localhost:6800/listprojects.json# 列出爬虫curl http://localhost:6800/listspiders.json?project=myspider# 列出jobcurl http://localhost:6800/listjobs.json?project=myspider问题1
解决方案
创建文件 scrapyd-deploy.bat
xxxxxxxxxx@echo offD:\python_env\spider_env\Scripts\python D:\python_env\spider_env\Scripts\scrapyd-deploy %*问题2
解决方案
找到指定文件 修改编码为utf-8
xxxxxxxxxxwith open(filename, encoding='utf-8') as fp: self._read(fp, filename)问题3
解决方案
因为scrapy.utils.http被抛弃了，所以把 scrapyd-deploy文件中 23行的内容 换成from w3lib.http import basic_auth_header
实时效果反馈
1. 关于Scrapyd部署, 说法错误的是？
A 需要安装scrapyd-client模块使用
B scrapyd-deploy命令可以创建爬虫
C scrapyd-deploy命令可以查看项目
D scrapyd-deploy命令可以部署项目
答案
1=>B