如何防止网站内部搜索被恶意利用?
还记得我之前写的《网站做外链,还能这样玩!》一文吗?文章中介绍很多人利用大型网站的站内搜索功能,搜索特定关键词,然后产生收录和排名,在搜索结果中得到大量曝光,进而获得大量流量。
具体是在高权重网站站内搜索里面搜索特定信息,http://www.yixiin.com/news/ 一般搜索格式都是“超长尾关键词+【网址】”的形式,这样在搜索页面的TDK里都有你搜索的关键词,而 只要网站权重够高,百度也会经常快速的收录这些网站的搜索结果页,最后就是这些不良分子就通过大量的这些页面从搜索引擎给自己的网站导入流量。
如何防止网站内部搜索被恶意利用?
然而,百度对网站的抓取额是有限定的,不可能抓取每一个页面,所以如果蜘蛛不断抓取收录这些垃圾搜索结果页,就会导致其它有意义的页面因配额问题不被 收录。这些垃圾搜索结果页就是蜘蛛黑洞,让蜘蛛耗费大量时间抓取这些无用的页面,同时也导致了抓取内容的重复以及权重的分散,不利于网站排名。
另一方面,网站在百度存在大量这样的垃圾页面,也可能因百度处理垃圾页面而影响网站正常排名。
对此,百度站长平台现在给出了一个解决办法:
既然百度对搜索结果页的收录有严格限制,那网站就做得彻底些,不允许搜索关键词出现在TITLE和摘要里,这样恶意操作者就无法达成目的,自然也不来骚扰。
百度给出携程的具体解决方案是:在搜索结果页,修改了meta调用规划,即避免搜索关键词出现在TDK处,如下就是修改规则后的前后变化,不仅突出了页面核心关键词“搜索”,同时也可以有效防止此类行为。
修改前:
如何防止网站内部搜索被恶意利用?
修改后:
如何防止网站内部搜索被恶意利用?
http://www.yixiin.com/news/rdzx/201901/yxw3736101.html
可以看到,百度给出的方法是不让搜索词出现在搜索结果页的TDK标签里,同时突出网站品牌,这样恶意操作者就在百度搜索结果得不到大量曝光,自然也就不会来犯了。
既然百度站长平台也给出了方法,那木木我也给出我解决这个问题的一个办法吧,也是不让恶意操作者得到想要的曝光结果和排名结果,不过比百度更彻底。
方法很简单,直接用Robots文件屏蔽站内搜索结果页,所有问题迎刃而解。不过我多做了一点,把一些特定的搜索词页面和一些经常被搜的专门做了静态化处理,不在屏蔽范围内,依然会收录和排名。其实做不做无所谓,因为搜索贡献价值很低。
上面修改meta标签的方法,尽管依旧保证了站内搜索结果还能被收录,但都是些相同标题、相同描述、相同关键词的页面,这种收录也产生不了关键词排名 效果,而且如果被百度收录,都是些题不对文的低质量页面,指不定产生什么影响,而且这些站内搜索结果页本就没有多少被收录的必要,保证你网站的主要页面被 收录,产生排名才是关键。http://www.yixiin.com/brand/
对于一般的网站而言,直接屏蔽就行了。当然,方法都有好有坏,像阿里巴巴这种长期比较看重站内搜索关键词排名的,肯定不会让他的TDK都一样,也不会 直接屏蔽了,所以不可避免的总会被人恶意利用,然后通过自己的机制去删除,不过这种例子很少。你看百度知道,不也在被恶意利用吗?