Python全系列 教程
3567个小节阅读:5931.8k
目录
鸿蒙应用开发
C语言快速入门
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本,未来主流的版本
人工智能 教程
顺势而为,AI创新未来
大厂算法 教程
算法,程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
伪装请求头部是采集时经常用的,我们可以用这个方法来隐藏爬虫身份
xxxxxxxxxx
headers = {'User-Agent': 'python'}
r = requests.get('http://www.zhidaow.com', headers = headers)
print(r.request.headers['User-Agent'])
采集时为避免被封IP,经常会使用代理。requests也有相应的proxies属性
xxxxxxxxxx
import requests
proxies = {
"http": "http://10.10.1.10:3128",
"https": "https://10.10.1.10:1080",
}
requests.get("http://www.zhidaow.com", proxies=proxies)
实时效果反馈
1. 关于爬虫,requests模块说法错误的?
A requests通过headers参数传递请求头信息
B requests通过proxies参数设置代理
C requests通过proxy参数设置代理
答案
1=>C