一些seo的朋友经常问到：我在网站日志里看到百度机器人来了多次，怎么就是不收录呢？http://www.yixiin.com/news/list-6936.html
拿百度蜘蛛为例，一般百度的蜘蛛回来两次。
第一次的任务：扫描并收集新站的所有有效链接。
就像小日本侵略中国时候的扫雷工兵，拿个扫雷工具不停的扫描这个村庄是否有地雷，一但发现地雷就会通知那些当官的小日本。
第二次的任务：根据数据中心的分析索引该站的内容，传送到百度数据中心进行分析。
就像：小日本的扫雷工兵发现有地雷，扔掉扫雷工具，换上铁锹等等挖雷工具取出地雷。
最后，数据中心对蜘蛛两次索引的内容对该网站进行分析：是否存在作弊现象，网站内容是否触犯法律，政治言论等等，然后把网站进行归类，进行排名。
也有朋友说百度的两次访问用的是用不同的蜘蛛，但蜘蛛索引的大体步骤是这样的，所以大家在日志里看到有蜘蛛机器人的记录，而没索引也不要奇怪，只要网站内容健康，内容原创，没有作弊现象，过段时间肯定展现出来的。http://www.yixiin.com/news/
