1、 蜘蛛怎样找到网站的首页
要让蜘蛛找到网站首页，就必须有外部链接链到首页，蜘蛛找到首页后就会沿着首页的内链接找到更深的内容页，所以在做网站的时候，就得要求网站的结构要良好，要符合逻辑。所有页面的爬行要通过HTML链接达到。像js链接、flash链接等搜索引擎蜘蛛一般不会爬行。
其次就是，网站的首页和内页之间不要太远，点击四五次之内较好。
2、 什么样的页面，蜘蛛是敬而远之
数据库动态生成，带有过多参数的URL、SessionID、Flash、框架、大量的复制内容，蜘蛛会敬而远之。
3、 蜘蛛抓取了页面怎样提炼有用信息
关键词在页面的合理分布、重要标签的撰写、HTML代码精简、起码的兼容性等可以帮助搜索引擎理解页面内容，提取有用信息。
只有搜索引擎能顺利找到所有页面，住区这些页面并提取其中真正相关性的内容，网站才可以被视为搜索引擎友好的。http://www.yixiin.com/news/