全球主机交流论坛

标题: 怎麼防止被archive機器人爬取？ [打印本页]

作者: httpd 时间: 2025-2-26 22:01
标题: 怎麼防止被archive機器人爬取？
抓得可勤快了，一天好幾張，谷歌都沒它情況啊

作者: zixi 时间: 2025-2-26 22:33
robots.txt不行吗？那就ua拦截呗，宝塔防火墙顺手的事

作者: httpd 时间: 2025-2-26 23:20

zixi 发表于 2025-2-26 22:33
robots.txt不行吗？那就ua拦截呗，宝塔防火墙顺手的事

主要是剛剛不知道它的蜘蛛名稱，現在知道了

复制代码

作者: kpxyyyy 时间: 2025-2-26 23:42
robot.txt就是君子协议，正规的蜘蛛会按照你的规则来，爬虫根本不会管你什么robot.txt。

欢迎光临全球主机交流论坛 (https://hostloc-workers.ikyomon.com/)