全球主机交流论坛

标题: 怎样屏蔽搜索引擎机器人？ [打印本页]

作者: xiusha 时间: 2010-5-22 14:21
标题: 怎样屏蔽搜索引擎机器人？
怎样屏蔽搜索引擎机器人？主要是sogou，yahoo等等没流量还狂点。

作者: outshine 时间: 2010-5-22 14:32
我的java判断蜘蛛代码，你参考一下，或者用robots.txt规则屏蔽
public static String isBot(HttpServletRequest request)
{
String userAgent = request.getHeader("User-Agent");
if(userAgent != null){
userAgent = userAgent.toLowerCase();
if (userAgent.indexOf("google") != -1 ||userAgent.indexOf("baidu") != -1
||userAgent.indexOf("yahoo") != -1 ||userAgent.indexOf("soso") != -1
||userAgent.indexOf("msn") != -1 ||userAgent.indexOf("youdao") != -1
||userAgent.indexOf("sogou") != -1 ||userAgent.indexOf("bing") != -1
||userAgent.indexOf("ia_archiver") != -1) {
return userAgent;
}
}
return null;
}

[ 本帖最后由 outshine 于 2010-5-22 14:36 编辑 ]

作者: 大飞机 时间: 2010-5-22 14:45
代码加到哪里？

作者: cpuer 时间: 2010-5-22 14:45
一般用robots.txt规则即可，

作者: winsock 时间: 2010-5-22 14:49
User-agent: *
Disallow: /

作者: winsock 时间: 2010-5-22 14:50
怕蜘蛛访问过频繁的话，没必要屏的，设置个Crawl-delay就可以了。。。。除了qihoo这种流氓,其他大多遵守的。。。

作者: winsock 时间: 2010-5-22 14:52

原帖由 outshine 于 2010-5-22 14:32 发表
我的java判断蜘蛛代码，你参考一下，或者用robots.txt规则屏蔽
public static String isBot(HttpServletRequest request)
{
String userAgent = request.getHeader("User-Agent");
if(userAgent != null){
use ...

装了相应工具条的，user-agent里大多也会有google,youdao这些的，会被连坐的。。。。

作者: outshine 时间: 2010-5-22 15:00

原帖由 winsock 于 2010-5-22 14:52 发表

装了相应工具条的，user-agent里大多也会有google,youdao这些的，会被连坐的。。。。

写具体一点就可以了，soso换成sosospider+,baidu换成baiduspider+,google换成googlebot

作者: msxcms 时间: 2010-5-22 15:15
封IP最彻底

作者: qiqi13245 时间: 2010-5-22 15:32

原帖由 msxcms 于 2010-5-22 15:15 发表
封IP最彻底

作者: xiusha 时间: 2010-5-23 19:28
robots.txt 规则怎样设置屏蔽那几个搜索机器人？nginx怎样封IP？谢谢

作者: aLing 时间: 2010-5-23 19:40

关站

作者: heiheihoho 时间: 2010-5-24 16:11
用robots.txt规则屏蔽

欢迎光临全球主机交流论坛 (https://hostloc-workers.ikyomon.com/)