爬虫中的代理池_代理地址池扫描防止被封-CSDN博客

网站介绍:文章浏览阅读1.3k次。爬虫中用到的代理虽然可以隐藏ip,避免真实ip被封,但是用久了,代理ip也会被封掉,这个时候就需要用到代理池,所谓代理池,就是一系列的代理,代码中可以随机选取代理池的任意代理访问目的服务器,从而避免同一ip高频次访问目的服务器。代码:import randomimport urllib.requestproxies_pool = [ {'http':'118.24.219.151:1681711111'}, {'http':'118.24.219.151:1681722222'}_代理地址池扫描防止被封