网站介绍:文章浏览阅读1.3k次。爬虫中用到的代理虽然可以隐藏ip,避免真实ip被封,但是用久了,代理ip也会被封掉,这个时候就需要用到代理池,所谓代理池,就是一系列的代理,代码中可以随机选取代理池的任意代理访问目的服务器,从而避免同一ip高频次访问目的服务器。代码:import randomimport urllib.requestproxies_pool = [ {'http':'118.24.219.151:1681711111'}, {'http':'118.24.219.151:1681722222'}_代理地址池扫描防止被封
- 链接地址:https://blog.csdn.net/qq_37837061/article/details/122870592
- 链接标题:爬虫中的代理池_代理地址池扫描防止被封-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:2348
- 网站标签:代理地址池扫描防止被封