目录
百战程序员,全站22050+开发课程+文档 ,学习精选优质好课快人一步!观看视频 快捷键ALT+N

Python全系列 教程

3567个小节阅读:5931.6k

收藏
全部开发者教程

鸿蒙应用开发

C语言快速入门

JAVA全系列 教程

面向对象的程序设计语言

Python全系列 教程

Python3.x版本,未来主流的版本

人工智能 教程

顺势而为,AI创新未来

大厂算法 教程

算法,程序员自我提升必经之路

C++ 教程

一门通用计算机编程语言

微服务 教程

目前业界流行的框架组合

web前端全系列 教程

通向WEB技术世界的钥匙

大数据全系列 教程

站在云端操控万千数据

AIGC全能工具班

A

A A

White Night

阅读(1.2k)
赞(0)

IP代理池-介绍

image-20220814075742546

代理IP从何而来

刚自学爬虫的时候没有代理IP就去小象代理、云代理之类有免费代理的网站去爬。(如果有更好的代理接口也可以自己接入) 免费代理的采集也很简单,无非就是:访问页面页面/接口 —> re/json/xpath提取 —> 保存

如何保证代理质量

可以肯定免费的代理IP大部分都是不能用的,不然别人为什么还提供付费的(不过事实是很多代理商的付费IP也不稳定,也有很多是不能用)。所以采集回来的代理IP不能直接使用,可以写检测程序不断的去用这些代理访问一个稳定的网站,看是否可以正常使用。

代理池设计

image-20210801175218616

  • DB 数据管理

    • Mongo
  • Fetcher 数据下载

    • 66ip 代理
    • 云代理
    • 全球代理
    • 快代理
  • Validata 数据验证

    • httpbin.org
    • 指定网站
  • Request 下载器

    • 专门下载工具
  • Scheduler 调度器

    • 协调各工具的使用
  • API API接口开发

    • FastAPI

      • 获取IP
      • 获取IP个数

实时效果反馈

1. 关于代理池, 说法错误的是?

A 代理池为了获取稳定的IP

B 代理池需要验证模块

C 代理池需要自己下载IP

D 代理池必须用mongo存储数据

答案

1=>D

 

北京市昌平区回龙观镇南店村综合商业楼2楼226室

©2014-2023 百战卓越(北京)科技有限公司 All Rights Reserved.

京ICP备14032124号-2