怎麼防止被archive機器人爬取？

httpd

抓得可勤快了，一天好幾張，谷歌都沒它情況啊

kpxyyyy

robot.txt就是君子协议，正规的蜘蛛会按照你的规则来，爬虫根本不会管你什么robot.txt。

httpd

zixi 发表于 2025-2-26 22:33
robots.txt不行吗？那就ua拦截呗，宝塔防火墙顺手的事

主要是剛剛不知道它的蜘蛛名稱，現在知道了

1. User-agent: ia_archiver
   
2. Disallow: /

复制代码

zixi

robots.txt不行吗？那就ua拦截呗，宝塔防火墙顺手的事