Scrapy_爬取小说网数据_CrawlSpider版-【官方】百战程序员_IT在线教育培训机构


xxxxxxxxxx
class scrapy.http.Request(url[, callback, method='GET', headers, body, cookies, meta, encoding='utf-8', priority=0, dont_filter=False, errback])

一个Request对象表示一个HTTP请求，它通常是在爬虫生成，并由下载执行，从而生成Response

参数

url（string） - 此请求的网址
callback（callable） - 将使用此请求的响应（一旦下载）作为其第一个参数调用的函数。有关更多信息，请参阅下面的将附加数据传递给回调函数。如果请求没有指定回调，parse()将使用spider的方法。请注意，如果在处理期间引发异常，则会调用errback。
method（string） - 此请求的HTTP方法。默认为'GET'。可设置为"GET", "POST", "PUT"等，且保证字符串大写
meta（dict） - 属性的初始值Request.meta,在不同的请求之间传递数据使用
body（str或unicode） - 请求体。如果unicode传递了，那么它被编码为 str使用传递的编码（默认为utf-8）。如果 body没有给出，则存储一个空字符串。不管这个参数的类型，存储的最终值将是一个str（不会是unicode或None）。
headers（dict） - 这个请求的头。dict值可以是字符串（对于单值标头）或列表（对于多值标头）。如果 None作为值传递，则不会发送HTTP头.一般不需要
encoding: 使用默认的 'utf-8' 就行
dont_filter：是否过滤重复的URL地址，默认为 False过滤
cookie（dict或list） - 请求cookie。这些可以以两种形式发送。
- 使用dict：


xxxxxxxxxx
request_with_cookies = Request(url="http://www.sxt.cn/index/login/login.html",)

使用列表：


xxxxxxxxxx
  request_with_cookies = Request(url="http://www.example.com",
                               cookies=[{'name': 'currency',
                                        'value': 'USD',
                                        'domain': 'example.com',
                                        'path': '/currency'}])

后一种形式允许定制 cookie的属性domain和path属性。这只有在保存Cookie用于以后的请求时才有用


xxxxxxxxxx
request_with_cookies = Request(url="http://www.example.com",
                               cookies={'currency': 'USD', 'country': 'UY'},
                               meta={'dont_merge_cookies': True})

将附加数据传递给回调函数

请求的回调是当下载该请求的响应时将被调用的函数。将使用下载的Response对象作为其第一个参数来调用回调函数


xxxxxxxxxx
def parse_page1(self, response):
    item = MyItem()
    item['main_url'] = response.url
    request = scrapy.Request("http://www.example.com/some_page.html",
                             callback=self.parse_page2)
    request.meta['item'] = item
    return request

def parse_page2(self, response):
    item = response.meta['item']
    item['other_url'] = response.url
    return item

实时效果反馈

1. 关于Scrapy, Request对象说法错误的是？

A Request必须填写的参数有url

B Request必须填写的参数有callback

C Request的参数dont_filter默认false，过滤URL

D Request的参数meta可以传递值到响应中

答案

1=>B

Scrapy_CrawlSpider的介绍 Scrapy_爬取小说网数据_CrawlSpider版

北京市昌平区回龙观镇南店村综合商业楼2楼226室