目录Python全系列 教程
3567个小节阅读：5929.8k
目录
鸿蒙应用开发
C语言快速入门
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本，未来主流的版本
人工智能 教程
顺势而为，AI创新未来
大厂算法 教程
算法，程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
单线程爬虫的问题
- 因为爬虫多为IO密集型的程序，而IO处理速度并不是很快，因此速度不会太快
- 如果IO卡顿，直接影响速度
解决方案
考虑使用多线程、多进程
爬虫使用多线程来处理网络请求，使用线程来处理URL队列中的url，然后将url返回的结果保存在另一个队列中，其它线程在读取这个队列中的数据，然后写到文件中
将将要爬去的url放在一个队列中，这里使用标准库Queue。访问url后的结果保存在结果队列中
初始化一个URL队列
xxxxxxxxxxfrom queue import Queueurls_queue = Queue()out_queue = Queue()使用多个线程，不停的取URL队列中的url，并进行处理：
xxxxxxxxxximport threading
class ThreadCrawl(threading.Thread): def __init__(self, queue, out_queue): threading.Thread.__init__(self) self.queue = queue self.out_queue = out_queue
def run(self): while True: item = self.queue.get()如果队列为空，线程就会被阻塞，直到队列不为空。处理队列中的一条数据后，就需要通知队列已经处理完该条数据
xxxxxxxxxxfrom threading import Threaddef func(args) passif __name__ == '__main__': info_html = Queue() t1 = Thread(target=func,args=(info_html,))xxxxxxxxxx# 简单往队列中传输线程数import threadingimport timeimport queue
class Threadingpool(): def __init__(self,max_num = 10): self.queue = queue.Queue(max_num) for i in range(max_num): self.queue.put(threading.Thread)
def getthreading(self): return self.queue.get()
def addthreading(self): self.queue.put(threading.Thread)
def func(p,i): time.sleep(1) print(i) p.addthreading()
if __name__ == "__main__": p = Threadingpool() for i in range(20): thread = p.getthreading() t = thread(target = func, args = (p,i)) t.start()
Python的Queue模块中提供了同步的、线程安全的队列类，包括FIFO（先入先出)队列Queue，LIFO（后入先出）队列LifoQueue，和优先级队列PriorityQueue。这些队列都实现了锁原语，能够在多线程中直接使用。可以使用队列来实现线程间的同步
实时效果反馈
1. 关于提升爬虫效率，说法错误的？
A 多线程可以提高爬虫效率
B 多线程爬虫可以通过queue来进行通信
C 多线程爬虫无需安装3方模块
D 多线程爬虫需要开起线程池，才可提高效率
答案
1=>D