实际上，每个蜘蛛程序在爬过一定大小的页面后会停止爬行。Google和Yahoo看来在大约10万个字母处停止，但是每个蜘蛛程序都有程序的限制在里面。如果你的网页太长，它们可能根本不会去爬行，这点错误做为职业的SEO人员，应当要尽量避免。假设现在有一份100页的技术说明书，要作为被优化的内容，那么应该怎样分配这些页面内容呢？
显然，把这100页的技术说明书全部放到一个网页上是合乎SEO的。对于这种情况，我们通常会把这些内容根据需要，以页面导航的形式分离成一个个的单独页面，通过总导航使内容首尾关联。这样做有助于提高关键词的密度，因为可以使主要的关键词更加突出。这不仅对搜索引擎有益，你的访客也会高兴的。
最经常导致网页冗长的原因是嵌入了Javascript代码。不管是什么原因，这里没有技术上的理由来让网页变得这么大，并且你应该把这些页面修改好。修改Javascript内容比起修改文本网页内容要容易的多—你需要做的事情是将Javascript从你的网页转移到一个外部的文件。代码同样可以工作，而蜘蛛程序就不必去爬过它。http://www.yixiin.com/news/
这让我回想起曾经的一个优化案例，发现其首页的源代码有二十多个页那么大，90%的内容是Javascript，深圳网站建设公司这显然是不符合我们的SEO策略，其中的很多可以被放到外部的文件里，并在网页装载的时候被调用。这么做会使得剩下的10%内容被蜘蛛有效索引。也就是说从seo的角度来看，这个首页90%都是无用功，那么蜘蛛费勒十分力气只抓到一分内容自然不想再浪费精力了。