Python全系列 教程
3567个小节阅读:5929.8k
目录
鸿蒙应用开发
C语言快速入门
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本,未来主流的版本
人工智能 教程
顺势而为,AI创新未来
大厂算法 教程
算法,程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
xxxxxxxxxx
# 获取当前页的二手车列表
car_list = response.xpath("//ul[@class='row-fluid list-row js-car-list']/li")
for li in car_list: # 遍历二手车列表
item = ErshoucheItem()
#提取brand、price、tag数据
......
# 将提取的数据赋值给item
item["brand"] = brand
item["price"] = price
item["tag"] = "_".join(tag_list)
yield item
xxxxxxxxxx
# 提取下一页URL地址
next_url = response.xpath('//ul[@class="pagination js-pagination"]/li[last()]/a/@href').extract_first()
# 如果不是最后一页
if next_url != "javascript:void(0);":
next_url = "https://www.renrenche.com" + next_url
yield scrapy.Request(
next_url,
callback=self.parse
)
在Scrapy爬虫根目录下:
scrapy crawl 爬虫名称