Python全系列 教程
3567个小节阅读:5931.1k
目录
鸿蒙应用开发
C语言快速入门
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本,未来主流的版本
人工智能 教程
顺势而为,AI创新未来
大厂算法 教程
算法,程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
ximport scrapy
class QunarItem(scrapy.Item):
name = scrapy.Field() # 名称
level = scrapy.Field() # 级别
area = scrapy.Field() # 区域
hot = scrapy.Field() # 热度
price = scrapy.Field() # 票价
num = scrapy.Field() # 月销量
对热门城市进行前5页的数据采集
经测试,为了防止“去哪儿”网的反爬,最好在settings.py里设置一下cookie
设置方法:
xxxxxxxxxx
COOKIES_ENABLED = False
DEFAULT_REQUEST_HEADERS = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language': 'en',
'cookie':'''这里设置可以访问网址的浏览器的Cookie'''
}
通过Pipeline将爬取的数据保存在data.csv文件中