从理论上来讲，百度蜘蛛能够爬行和抓取所有的页面，但我们知道实际并非如此。SEOer们想要更多的页面能够被收录，就要想方设法来吸引百度蜘蛛来抓取。蜘蛛抓取不了所有的页面，会尽量抓取重要的页面，那么哪些因素会影响蜘蛛的抓取呢？
网站页面的权重。蜘蛛通常会选择质量高、资格老的网站进行抓取，而且爬行的深度也会比较高，会有更多的页面被收录。
页面更新度。蜘蛛每次爬行都会储存数据，若第二次爬行与第一次收录的完全一样，蜘蛛就好减少抓取。相反经常更新的页面，蜘蛛会更频繁地访问。
导入链接。无论是外链还是内链，想要被蜘蛛抓取，就要有导入链接进入页面，高质量的导入链接也能增加导出链接的爬行深度。
与首页的点击距离。通常来说网站权重**的是首页，大部分的外链也都是指向首页的，所以蜘蛛抓取*频繁的也是首页。所以离首页越近，页面权重越高，被蜘蛛抓取的机会也就越大。
URL结构。页面的权重是在收录并进行迭代计算后才发现的，蜘蛛在判断一个页面的权重的时候，除了根据链接、与首页的距离、历史数据以外。层次浅的URL也被认为是网站上权重较高的页面。
