星空xk

企业网站做好之后，*关心的莫过于网站的排名，网站想要有良好的排名，第一步是网站先要被收录，而网站被收录的前提是蜘蛛来爬行你的网站，然后建立索引。下面星空xk 网小编就简单为大家介绍一下搜索引擎spider的主要分类以及其对应的特征。

目前网络上的爬虫主要可以分为：批量型spider、增量型spider、垂直型spider。

批量型spider

批量型spider有明确的抓取目标和抓取范围，在规定的时间规定的范围内抓取规定数量的内容，一旦spider抓到预先设置目标数量的内容或者时间到了，就会停止抓取。大部分站长派出用来采集的一般就是这种批量型spider。

增量型spider

增量型spider是*常用的爬虫，所以又被成为通用爬虫。增量型spider与批量型spider完全不同，它没有任何限制，会无休止的抓取下去，知道把整个网站所有的数据都抓完。不仅如此，增量型spider还会不断更新它抓取到的内容。当前百度、谷歌等搜索引擎一般派出去的都是增量型的spider。

垂直型spider

垂直型spider又叫聚焦爬虫，它是结合了以上两种爬虫的特性，是指在某个特定的范围内增量型的抓取。由于现在的搜索引擎spider还不能进行精确的对页面进行分类，直接用增量型又太浪费，一般会采用先派出少量增量型spider对要抓取的内容进行分类，然后再用垂直型的spider去对应的站点进行抓取。如果没有增量型spider的话，就会采用人工将站点进行分类，然后再用垂直型spider进行抓取。

以上就是星空xk 网小编为大家整理的搜索引擎spider的分类，以及其对应的特征和应用场景。