Python全系列 教程
3567个小节阅读:5930.4k
目录
鸿蒙应用开发
C语言快速入门
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本,未来主流的版本
人工智能 教程
顺势而为,AI创新未来
大厂算法 教程
算法,程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
python安装与使用的前置环境
xxxxxxxxxx
yum install gcc* zlib* libffi-devel bzip2-devel xz-devel openssl* -y
xxxxxxxxxx
yum install wget -y
xxxxxxxxxx
wget https://www.python.org/ftp/python/3.9.4/Python-3.9.4.tgz
注意
可在python官网https://www.python.org/downloads/查找最新版本python复制链接,以下文件夹名称均需要替换为对应版本名称
技巧
理论是服务器安装的Python版本与运行环境版本一致。但是也要看服务器是否支持!!
xxxxxxxxxx
tar -xf Python-3.9.4.tgz # 解压
cd Python-3.9.4
./configure prefix=/usr/local/python3 --enable-optimizations #编译
make install # 安装
export PATH=$PATH:/usr/local/python3/bin/ # 配置环境变量
# ~/.bash_profile
提示
如果twisted安装不成功,可以考虑单独下载安装
xxxxxxxxxx
pip3 install scrapy
注意
为了避免安装失败,修改pypi数据源
找到下列文件
xxxxxxxxxx
~/.pip/pip.conf
在上述文件中添加或修改:
xxxxxxxxxx
[global]
index-url = http://mirrors.aliyun.com/pypi/simple/
[install]
trusted-host=mirrors.aliyun.com
xxxxxxxxxx
pip3 install scrapy-redis
xxxxxxxxxx
pip3 install scrapy-fake-useragent
实时效果反馈
1. 关于Scrapy分布式中Slave端配置, 说法错误的是?
A Slave端主要负责任务存储
B Slave端可以负责数据存储
C Slave端主要负责爬取数据
D Slave端需要配置爬虫所需所有环境
答案
1=>A