怎样屏蔽搜索引擎机器人？

xiusha

怎样屏蔽搜索引擎机器人？主要是sogou，yahoo等等没流量还狂点。

outshine

我的java判断蜘蛛代码，你参考一下，或者用robots.txt规则屏蔽
        public static String isBot(HttpServletRequest request)
        {
                String userAgent = request.getHeader("User-Agent");
                if(userAgent != null){
                        userAgent = userAgent.toLowerCase();
                        if (userAgent.indexOf("google") != -1 ||userAgent.indexOf("baidu") != -1
                                        ||userAgent.indexOf("yahoo") != -1 ||userAgent.indexOf("soso") != -1
                                        ||userAgent.indexOf("msn") != -1 ||userAgent.indexOf("youdao") != -1
                                        ||userAgent.indexOf("sogou") != -1 ||userAgent.indexOf("bing") != -1
                                        ||userAgent.indexOf("ia_archiver") != -1) {
                                return userAgent;
                        }
                }
                return null;
        }

[ 本帖最后由 outshine 于 2010-5-22 14:36 编辑 ]

大飞机

代码加到哪里？

cpuer

一般用robots.txt规则即可，

winsock

User-agent: *
Disallow: /

winsock

怕蜘蛛访问过频繁的话，没必要屏的，设置个Crawl-delay就可以了。。。。除了qihoo这种流氓,其他大多遵守的。。。

winsock

原帖由 outshine 于 2010-5-22 14:32 发表
我的java判断蜘蛛代码，你参考一下，或者用robots.txt规则屏蔽
        public static String isBot(HttpServletRequest request)
        {
                String userAgent = request.getHeader("User-Agent");
                if(userAgent != null){
                        use ...

装了相应工具条的，user-agent里大多也会有google,youdao这些的，会被连坐的。。。。

outshine

原帖由 winsock 于 2010-5-22 14:52 发表

装了相应工具条的，user-agent里大多也会有google,youdao这些的，会被连坐的。。。。

写具体一点就可以了，soso换成sosospider+,baidu换成baiduspider+,google换成googlebot

msxcms

封IP最彻底

qiqi13245

原帖由 msxcms 于 2010-5-22 15:15 发表
封IP最彻底