AI爬虫大规模爬取网站内容，导致网站打不开，附解决方案

bhtl

技术的大佬可以分析下方案二会不会对网站有什么不好的影响

dqm5384

屏蔽下AI蜘蛛

mahuman

一律按CC处理，60秒访问超40次，拉黑IP封3600秒，解封后再次触发，封禁自动叠加

sinalook

网站弄成内部私密站，相当于知识星球，会员才可以看，就解决ai抓取问题了

hijacker

可以参考 https://phpy.cn/36.html

limao100

维基百科都扛不住了

湖光倒影

为分享干货点赞！我都是直接封IP，很多ai都是不讲武德，模仿用户访问，太损了。