蜘蛛抓取
通过程序发出网站页访问请求后, 服务器返回网页代码, 蜘蛛对页面代码进行抓取, 索引入库, 根据网站权重及质量度，搜索引擎将对网站进行不同频次抓取。
为何SEO需要对URL进行优化?
URL优化不仅仅有利于用户体验, 网站的权重集权, 对网站页面收录也拥有很大的好处, 做网站到上线最基本的准则, 是满足百度蜘蛛能够对网站进行全面抓取, 对于蜘蛛来说最简单的方法就是深度抓取和广度抓取。
什么是蜘蛛深度抓取?
指蜘蛛发现一个链接进行爬行的过程中, 一直向前, 直到最深层级不可再爬行为止, 然后返回最初爬行页面, 再进行下一个链接爬行。就好比从网站的首页, 爬行到网站的第一个栏目页，再通过栏目页爬行一个内容页，然后跳出首页，对第二个网站进行爬行。
什么是蜘蛛广度抓取?
指蜘蛛爬行一个页面, 存在多个链接时, 并非对一个链接进行深入抓取, 例如：蜘蛛进入网站首页后, 对所有栏目页进行有效爬行, 再对所有栏目页下的二级栏目或者内容页进行爬行, 也就是一层层的爬行方式，不是一个个的爬行方式。
由此可见——
栏目的层级关系对SEO优化还是有至关重要的影响, 网站抓取无论是深度优先，还是广度优先，尽可能缩减链接命名的复杂程度, 以及不必要的层级关系, 有效的降低百度蜘蛛的不必要抓取, 毕竟对于百度蜘蛛来说，时间跟宽带资源并不是无限制的, 让蜘蛛能够通过更短的时间, 对网站进行全部抓取, 对网站收录, 以及网站排名有至关重要得到作用, 毕竟蜘蛛对每个网站抓取能力有限, 但是为考虑更多的站点和内页，所以一般搜索引擎都会对广度抓取和深度抓取进行混合使用, 当然抓取频次和深度, 也会同页面质量度、网站规模、外链情况、更新频次、网站权重等诸多因素进行考虑。
所以为什么网站质量度再高, 总存在部分页面不收录不展现呢?简而言之, 百度蜘蛛不能对每个网站每个页面进行全面照顾到位, 所以对SEO来说, 价值就体现出来了, 为了提升网站收录, 并非一定要使用具有风险的蜘蛛池引蜘蛛, 通过对网站框架的认识和对页面的分析, 做好内循环引诱蜘蛛抓取, 也是提升网站收录的手段之一, 当然提升网站权重也可以带动百度蜘蛛对于网站进行深度抓取。
外链对网站的作用是什么?
都说是引流, 那么对SEO的意义, 最为明显的就是通过外部链接, 实现引导百度蜘蛛对页面深度抓取, 引入网站内部链接对页面进行爬行, 当然并非所有外链都能起到这样的效果, 对于高质量的导入链接来说, 容易实现页面导出链接爬行加深, 提升网站的抓取概率。
其次, 就对于网站排名进行一个简单的解析, 都知道网站权重首页最高, 并且权重传递由上至下, 从左到右, 也就说明了, 百度Spider对于首页的抓取频次是最高的, 页面位置距首页越近, 也会赋值页面权重高于其他页面, 被抓取的概论增加。所以对SEO来说, 重要的栏目和关键词尽可能放置优先抓取位置, 能促进网站基础排名哦, 当然不能忽视的问题就是网站更新频次, 这点就不做更多的说明了。
吸引百度蜘蛛抓取, 从原理中不难看出, 除开网站框架布局, 页面质量度也可以带动网站收录, 站长可针对页面质量度对网站进行剖析, 进行适当内链增加, 促进网站内循环, 页面权重越高, 抓取频次也会增加, 那么百度Spider如何判断页面权重值呢?除开链接同首页距离, 还需要对于页面用户受众率、关键词布局、层级深度、历史数据、质量度等来进行判断。
