敷衍robots.txt，大概一样平常人的见解是可写可不写，写错了尚有贫困，以是爽性不写。实在，在搜刮引擎优化中，robots.txt有这么几个妙用。如今咱们逐一来看下robots.txt的妙用。
1、新站创建的时间引导蜘蛛抓取列表页。新站初建，在你的robots.txt写入网站的栏目地点以便抓取。示比方下 http://www.yixiin.com/photo/
# / 网站优化的robots.txt
User-agent: *
Disallow: /
Disallow: /plus/advancedsearch.php
Disallow: /plus/car.php
Disallow: /plus/carbuyaction.php
Disallow: /plus/shops_buyaction.php
Disallow: /plus/erraddsave.php
Disallow: /plus/posttocar.php
Disallow: /plus/disdls.php
Disallow: /plus/feedback_js.php
Disallow: /plus/mytag_js.php
Disallow: /plus/rss.php
Disallow: /plus/search.php
Disallow: /plus/recommend.php
Disallow: /plus/stow.php
Disallow: /plus/count.php
Disallow: /include
Disallow: /templets
接纳了dedecms默认的robots.txt，小我私人感觉还是挺不错的。
2、屏蔽低质量的页面收录。比方，你的一个网页是动态的页面，content.asp，通过参数id来得到差别的内容，而假如你必要增长一个参数style,以便给差别的用户体现差别样式，但是内容雷同的页面，那么，敷衍id为1的同一个内容的页面，大概会出现好几个毗连
