搜索引擎蜘蛛能不能找到网页的呢？要让搜索引擎发现网站的首页，就必须要有外部链接到首页，找到首页后，蜘蛛沿着内部链接找到更深的内容页，所以经常要求网站要有良好的结构，符合逻辑，并且所有页面可以通过爬行的链接达到，如果蜘蛛不能爬行的话就很有可能造成对有收录的影响，良好的网站链接结构可以适当传递权重，是尽量多的页面达到收录的门栏。
抓取页面后怎样提炼有用的信息呢？关键词在页面重要的位置的合理分布、重要标签、代码精简，只有搜索引擎能够顺利找到所有的页面，抓取这些页面并提取其中真正有相关性的内容，网站才可以被视为搜搜引擎友好的。搜索引擎友好很重要的，能够做好搜索引擎友好的网站不是每个网站都可以做到的，尤其是一些中小企业的网站。http://cn.yixiin.com/news/