方法一、引诱蜘蛛爬页面
蜘蛛访过网站的次数能侧面反响出网站自身的权重，普通小网站单个蜘蛛每日来访的次数约略在几十次。假如高于几十次，那么申说经过链接爬行到职通天下网站上的次数较多，那么抓取收录的机缘便会大一点，终极对名次也是有积极的影响。假如每日来访一两次甚而零次，http://www.yixiin.com/news/那么网站十分危险。我们要做好站内页面之间的链接，让蜘蛛多爬些页面，这样就能抓取理多的页面。
方法二、删除404页面
每个网站或多或少的都有404不对页面，视频招聘、视频简历、数字面试、职通天下这是必然性的现象。有时是空间上本身问题，有时是自身网站的设置问题，有时是外部网站存在外部链接的问题，从日记中一朝发现，就应当马上调试。若是抓取某个url404出奇多的话，需要在网站上开办这么一个url页面，管用的利用，也可以修改robots文件赋予屏蔽，禁阻抓取。大量的404不对会被蜘蛛记录下来，对网站是减分印象，所以会从群体上减低网站的权重。
方法三、依据抓取规律来调试
在职通天下网站日记中，都能清楚的看见页面的抓取排行，url的抓取排行，这些排行最能直接的反响网站的那些局部是最受蜘蛛欢迎的。假如出现了众多css或js的文件都被大量的过访，那么页面中这么的链接就大大浪费了权重，所以需要修改robots文件赋予禁阻。查看职通天下网站日记，能表面化的看见那些被过渡抓取，那些重点内容抓取的较少，这么打量然后就能做到心中有数，可以有的放矢。譬如之前我的网站会莫名奥妙的多出一点抓取文件夹，而这些文件夹在网站中是并不存在的，所以要趁早发现，并赋予屏蔽。
http://www.yixiin.com/news/shehuixinwen/201810/yxw2706983.html
http://www.yixiin.com/news/meirikuaibao/201810/yxw2706992.html
http://www.yixiin.com/news/sh/201810/yxw2706994.html
http://www.yixiin.com/news/meirikuaibao/201810/yxw2706985.html
http://www.yixiin.com/news/meirikuaibao/201810/yxw2706733.html
