Python爬虫 | 初识爬虫_python 爬虫-CSDN博客

网站介绍:文章浏览阅读128次。一、什么是爬虫?就是通过编写程序让其模拟浏览器上网,然后再互联网中抓取数据的过程二、 爬虫的分类通用爬虫:抓取一整张页面源码数据。聚焦爬虫:抓取一整张页面中的局部内容,聚焦爬虫是需要建立在通用爬虫基础之上。增量式爬虫:通过爬虫程序监测某网站数据更新的情况,以便可以爬取到该网站更新出的新数据。分布式爬虫:实现了多台电脑使用一个共同的爬虫程序,它可以同时将爬虫任务部署到多台电脑上运行,这样可以提高爬虫速度,实现分布式爬虫。三、 反爬机制应用在网站中:通过反爬机制指定来阻止爬虫程序对其网_python 爬虫