笔者这里近期诊断了一个千万级别收录的网站，在诊断后的3天，收录突然暴增300W。但是，这些收录的增加真的是好事情吗?第二天，网站的流量下降了2W-3W，原因是什么呢?收录的链接，全部都是robots.txt已经屏蔽了的动态链接。
百度蜘蛛不遵循robots.txt协议吗?
常有站长说，百度蜘蛛不遵循robots.txt，屏蔽了的内容弄还是去抓取。事实上不排除偶有这样的例子，但是基本上重新更新robots.txt就会得到解决。那么解决不了，还会是什么原因造成的呢?今天，我这里就透露一个小的秘密：网站有robots.txt，但是蜘蛛访问不到robots.txt文件，你信嘛?
2ccc1450745139
或者说，第一次检测更新可以实现正确的更新，但是继续点击更新就又失败了，继续点击的话，还是这样的反复，让人摸不到一点规律，百度只是反复的提示403错误。最终是怎么解决的呢?就像开头标题说的一样：IP屏蔽错误，导致了蜘蛛无法识别robots.txt，你的网站是否也犯过这样的错误呢?如果你进行了IP地址的屏蔽，请检查一下是否包含了
如：123.125.68.* 220.181.68.* 220.181.7.* 123.125.66.* 121.14.89.* 203.208.60.* 210.72.225.* 125.90.88.* 220.181.108.* 123.125.71.* 59.226.50.* 25.90.88.* 61.135.162.*
上述IP为网络其他资源查找，如有不完善的地方，相关朋友可以联系我进行添加，也为更多的站长指路。
网站适合大量的屏蔽IP段吗?
除了上面的这些IP段，其他的IP就可以随意的屏蔽了吗?友情提示：如果确定某个具体的IP在持续攻击，建议进行屏蔽，如果是泛滥类型的，屏蔽也没有效果，一不小心，还会屏蔽了更多的蜘蛛，如360的好搜：
101.226.166.* 101.226.167.* 101.226.168.* 101.226.169.* 182.118.20.* 182.118.21.* 182.118.22.* 182.118.25.* 182.118.35.* 61.55.185.* 180.153.236.* 182.118.26.110 ~ 182.118.26.239
上面为官方公布的IP段数据，如果站点有屏蔽，一定要注意了，另外还有有更多的如神马搜索等一系列的搜索引擎，虽然占比都不如百度，但是任何一款搜索引擎，排名若达到的足够高了，流量同样是不容忽视的!
那么，遇到攻击不做IP屏蔽要怎么解决呢?红橘子博客(贺贵江)推荐的是：阿里云CDN、腾讯云CDN、百度云加速，都是可以解决的。顺便说一下，腾讯云现在还有半年的新手试用，不过阿里云的品质，也是众人皆知的，百度嘛?前几个月不是很稳定，现在还好。