目录Python全系列 教程
3567个小节阅读：5929.1k
目录
鸿蒙应用开发
C语言快速入门
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本，未来主流的版本
人工智能 教程
顺势而为，AI创新未来
大厂算法 教程
算法，程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
xxxxxxxxxxscrapy startproject myfrist(project_name)
| 名称 | 作用 |
|---|---|
| scrapy.cfg | 项目的配置信息，主要为Scrapy命令行工具提供一个基础的配置信息。（真正爬虫相关的配置信息在settings.py文件中） |
| items.py | 设置数据存储模板，用于结构化数据，如：Django的Model |
| pipelines | 数据处理行为，如：一般结构化的数据持久化 |
| settings.py | 配置文件，如：递归的层数、并发数，延迟下载等 |
| spiders | 爬虫目录，如：创建文件，编写爬虫规则 |
xxxxxxxxxxscrapy genspider 爬虫名 爬虫的地址注意
一般创建爬虫文件时，以网站域名命名
代码
ximport scrapy
class DoubanSpider(scrapy.Spider): name = 'douban' allowed_domains = 'douban.com' start_urls = [ 'https://movie.douban.com/top250/' ]
def parse(self, response): movie_name = response.xpath("//div[@class='item']//a/span[1]/text()").extract() movie_core = response.xpath("//div[@class='star']/span[2]/text()").extract() yield { 'movie_name':movie_name, 'movie_core':movie_core }实时效果反馈
1. 关于Scrapy, 创建爬虫错误的是？
A scrapy startproject myfrist创建项目
B scrapy start project myfrist创建项目
C scrapy genspider 爬虫名 爬虫的地址 创建一个爬虫
D 爬虫文件可以手动创建与编写
答案
1=>B