不抓取如何会收录，又怎么有排名?然而就这样一个明显的问题，却有大量的网站将其忽略掉。在A5这里做SEO诊断服务的客户中，其中“20%”的网站都会存在抓取错误，直接严重影响到网站的成长效果。今天这篇文章，如果你有幸看到，希望可以阅读完今天这篇文章，并分享出去，因为真的会很有价值。
贺贵江：曾经诊断过一个千万级别收录的站点，但是索引总是被反复的剔除，又反复的收录，企业一直找不到问题。可是当我们对网站检查之初就发现一个怪的现象了：
1、错误的封禁
在百度的robots.txt的更新上，如果多次点击“检测并更新”就会出现时常可以更新，但是又时常无法更新的问题。如此一来：不应当被收录的东西，在robots.txt上禁止的被收录了，又删除就很正常了。那么它的问题是什么呢?并非服务器负载过度，而是因为防火墙错误的将部分Baiduspider列入了黑名单。
上面这个例子是robots.txt方面的抓取错误，作为站长最少应该每周都检查更新一下robots.txt是否可以正常更新。之后我们再看下“页面抓取”方面的错误：
2、服务器异常
常规的服务器就不说啦，大家都知道的，北上广的一般都不错。不过有一些特殊服务器，想必绝大多数的站长都不知道吧?例如西部数码的“港台服务器”就很有趣，真的是港台的吗?本身机房在国内，还算什么港台?为了逃避备案而用一个港台的IP，数据全部在国内。
这样有什么不好呢?我们会发现：站点的服务器是经过CDN的，哪怕是你上传的一张图片，都会显示为“302状态码”，访问速度是提升上去了，可是这样利于SEO吗?呵呵哒。真不知道西数做为国内大型idc服务商是如何想的，利用那些无知吗?
3、获取不到真实IP
规模较大的网站，一般都会使用CDN加速，但是有些站点不仅仅对“设备”使用了CDN加速，而且还对Spider使用了加速功能。最后的结果是什么呢?如果CDN节点不稳定，那么对网站spider来讲，这个问题将是致命的。m88
