搜索引擎蜘蛛访问网站页面时类似于普通用户使用的浏览器，蜘蛛顺序发出页面访问请求后，蜘蛛程序把收到代码存入原始页面数据库，搜索引擎为了提高爬行和抓取速度，都使用多个蜘蛛并发分布爬行。如果robots.txt文件禁止搜素引擎抓取某些文件或目录http://www.ffsy56.com/，蜘蛛将遵守协议，蜘蛛访问任何一个网站时，不抓取被禁止的网址。搜索引擎蜘蛛也有标明自己身份的代理名称，和浏览器一样。搜索引擎蜘蛛会跟踪页面上的链接，为了抓取网上尽量多的页面，从一个页面爬到下一个页面，就好像蜘蛛在蜘蛛网上爬行那样，这也就是搜索引擎蜘蛛这个名称的由来。蜘蛛从任何一个页面出发，整个互联网是由相互链接的网站及页面组成的从理论上说，顺着链接都可以爬行到网上的所有页面。当然，由于网站及页面链接结构异常复杂，蜘蛛需要采取一定的爬行战略才干遍历网上所有页面。
刚刚开始接触seo，每天学习些知识，http://www.ffsy56.com/news/ 并且把这些知识和交互论坛的朋友来分享，因为是新手其他板块不能发链接帖子，只能在这个板块分享了，希望看到的seo菜鸟有帮助，seo高手就飘过就行了。