怎样屏蔽搜索引擎机器人？

xiusha · 发表于 2010-5-22 14:21:19

怎样屏蔽搜索引擎机器人？主要是sogou，yahoo等等没流量还狂点。

heiheihoho · 发表于 2010-5-24 16:11:44

用robots.txt规则屏蔽

aLing · 发表于 2010-5-23 19:40:04

关站

xiusha · 发表于 2010-5-23 19:28:43

robots.txt 规则怎样设置屏蔽那几个搜索机器人？nginx怎样封IP？谢谢

qiqi13245 · 发表于 2010-5-22 15:32:08

原帖由 msxcms 于 2010-5-22 15:15 发表
封IP最彻底

msxcms · 发表于 2010-5-22 15:15:43

封IP最彻底

outshine · 发表于 2010-5-22 15:00:07

原帖由 winsock 于 2010-5-22 14:52 发表

装了相应工具条的，user-agent里大多也会有google,youdao这些的，会被连坐的。。。。

写具体一点就可以了，soso换成sosospider+,baidu换成baiduspider+,google换成googlebot

winsock · 发表于 2010-5-22 14:52:13

原帖由 outshine 于 2010-5-22 14:32 发表
我的java判断蜘蛛代码，你参考一下，或者用robots.txt规则屏蔽
public static String isBot(HttpServletRequest request)
{
String userAgent = request.getHeader("User-Agent");
if(userAgent != null){
use ...

装了相应工具条的，user-agent里大多也会有google,youdao这些的，会被连坐的。。。。

winsock · 发表于 2010-5-22 14:50:44

怕蜘蛛访问过频繁的话，没必要屏的，设置个Crawl-delay就可以了。。。。除了qihoo这种流氓,其他大多遵守的。。。

winsock · 发表于 2010-5-22 14:49:18

User-agent: *
Disallow: /

		自动登录	找回密码
密码			注册

怎样屏蔽搜索引擎机器人？

浏览过的版块