首先，每个网站都应该有机器人协议(robots.txt)，这个协议原本源自谷歌，如今被众多搜索引擎所采用。通过协议，使得蜘蛛被允许或者拒绝部分链接或者文件，使得网站的带宽被节约，如网站的admin文件夹往往就不需要被蜘蛛访问。机器人协议的另外一个作用在于防止权重输出和防止死链，在社会化和开放化互联网的今天，每个网站都会在首页展示一些社会化平台(如微博、网店、公共主页等)，采用蜘蛛拒绝协议能够防止网站权重流入不必要的地方。
网站所应该拥有的另一个文件就是网站地图(sitemap.xml)，对于经常更新的网站更是应该设置**站地图。百度蜘蛛对网站地图尤为喜爱，而设置一个动态的网站地图有助于提高网站的收录速度。一般小容量站点可以设置一小时更新，而大型网站则可以设置一周更新。
伪静态和链接缩减是网址优化的重点，搜索引擎喜爱.html、.htm、.shtml等静态网址，这导致**址的网站会通过伪静态的方式来优化网址。一个页面的网址是由网站域名和页面目录(或相对地址)组成的，网址缩减的重点就在于对页面相对地址的缩略。
说到代码减肥，这属于纯粹的程序领域，但是却对网站页面的优化影响甚远。换句话说，一个域名同样好记、同时注册的网站使用相同的标题和描述、进行相同的关键词优化操作，可能会出现排名相差甚远的情况，究其原因可能就在于网站页面的代码。一个精简的代码能够让搜索引擎很快的反馈有效信息，而一段臃肿的代码则往往会阻挡了有效信息的曝光频率。
