AI爬虫大规模爬取网站内容，导致网站打不开，附解决方案

AI工具的爬虫疯狂抓取网站内容，导致网站一直加载中，就是无法正常访问（看日志才发现早就被爬了，只是网站没有挂才没发现）， 搜解决方法的时候看到了这篇帖子，跟着进行了操作，同时使用豆包AI进行分析，结合豆包给出的方案一起使用，这里分享下。



方案一先是通过宝塔面板 Nginx 免费防火墙插件的 User-Agent 过滤了 AI 爬虫，参考了@雨天榕树  大佬在评论区分享的资料链接：https://www.52txr.cn/2025/banaicurl.html
有我根据自身情况新增的爬虫

1. (ScrapyIAwarioBotIAI2Bot|Ai2Bot-Dolma|aiHitBot|anthropic-ai|ChatGPT-User|Claude-Web|ClaudeBot|cohere-ai|cohere-training-data-crawler|Diffbot|DuckAssistBot|GPTBot|img2dataset|OAI-SearchBot|Perplexity-User|PerplexityBot|PetalBot|Scrapy|SemrushBot-OCOB|TikTokSpider|VelenPublicWebCrawler|YouBot)

复制代码

又是用 robots.txt 限制 AI 爬虫和百度的爬取频率

1. # 百度蜘蛛：允许访问，但限制抓取间隔
   
2. User-Agent: Baiduspider
   
3. Crawl-delay: 5
   
4. 
   
5. # AI爬虫及特殊工具：禁止访问整个网站
   
6. User-Agent: Scrapy
   
7. Disallow: /
   
8. User-Agent: AwarioBotI
   
9. Disallow: /
   
10. User-agent: SemrushBot-BA
    
11. Disallow: /
    
12. User-agent: SemrushBot-SI
    
13. Disallow: /
    
14. User-agent: SemrushBot-SWA
    
15. Disallow: /
    
16. User-agent: SplitSignalBot
    
17. Disallow: /
    
18. User-agent: SemrushBot-OCOB
    
19. Disallow: /
    
20. User-agent: SemrushBot-FT
    
21. Disallow: /
    
22. User-Agent: AI2Bot
    
23. Disallow: /
    
24. User-Agent: Ai2Bot-Dolma
    
25. Disallow: /
    
26. User-Agent: aiHitBot
    
27. Disallow: /
    
28. User-Agent: Amazonbot
    
29. Disallow: /
    
30. User-Agent: anthropic-ai
    
31. Disallow: /
    
32. User-Agent: Applebot
    
33. Disallow: /
    
34. User-Agent: Applebot-Extended
    
35. Disallow: /
    
36. User-Agent: Brightbot 1.0
    
37. Disallow: /
    
38. User-Agent: Bytespider
    
39. Disallow: /
    
40. User-Agent: CCBot
    
41. Disallow: /
    
42. User-Agent: ChatGPT-User
    
43. Disallow: /
    
44. User-Agent: Claude-Web
    
45. Disallow: /
    
46. User-Agent: ClaudeBot
    
47. Disallow: /
    
48. User-Agent: cohere-ai
    
49. Disallow: /
    
50. User-Agent: cohere-training-data-crawler
    
51. Disallow: /
    
52. User-Agent: Cotoyogi
    
53. Disallow: /
    
54. User-Agent: Crawlspace
    
55. Disallow: /
    
56. User-Agent: Diffbot
    
57. Disallow: /
    
58. User-Agent: DuckAssistBot
    
59. Disallow: /
    
60. User-Agent: FacebookBot
    
61. Disallow: /
    
62. User-Agent: Factset_spyderbot
    
63. Disallow: /
    
64. User-Agent: FirecrawlAgent
    
65. Disallow: /
    
66. User-Agent: FriendlyCrawler
    
67. Disallow: /
    
68. User-Agent: Google-Extended
    
69. Disallow: /
    
70. User-Agent: GoogleOther
    
71. Disallow: /
    
72. User-Agent: GoogleOther-Image
    
73. Disallow: /
    
74. User-Agent: GoogleOther-Video
    
75. Disallow: /
    
76. User-Agent: GPTBot
    
77. Disallow: /
    
78. User-Agent: iaskspider/2.0
    
79. Disallow: /
    
80. User-Agent: ICC-Crawler
    
81. Disallow: /
    
82. User-Agent: ImagesiftBot
    
83. Disallow: /
    
84. User-Agent: img2dataset
    
85. Disallow: /
    
86. User-Agent: imgproxy
    
87. Disallow: /
    
88. User-Agent: ISSCyberRiskCrawler
    
89. Disallow: /
    
90. User-Agent: Kangaroo Bot
    
91. Disallow: /
    
92. User-Agent: Meta-ExternalAgent
    
93. Disallow: /
    
94. User-Agent: Meta-ExternalFetcher
    
95. Disallow: /
    
96. User-Agent: NovaAct
    
97. Disallow: /
    
98. User-Agent: OAI-SearchBot
    
99. Disallow: /
    
100. User-Agent: omgili
     
101. Disallow: /
     
102. User-Agent: omgilibot
     
103. Disallow: /
     
104. User-Agent: Operator
     
105. Disallow: /
     
106. User-Agent: PanguBot
     
107. Disallow: /
     
108. User-Agent: Perplexity-User
     
109. Disallow: /
     
110. User-Agent: PerplexityBot
     
111. Disallow: /
     
112. User-Agent: PetalBot
     
113. Disallow: /
     
114. User-Agent: Scrapy
     
115. Disallow: /
     
116. User-Agent: SemrushBot-OCOB
     
117. Disallow: /
     
118. User-Agent: SemrushBot-SWA
     
119. Disallow: /
     
120. User-Agent: Sidetrade indexer bot
     
121. Disallow: /
     
122. User-Agent: TikTokSpider
     
123. Disallow: /
     
124. User-Agent: Timpibot
     
125. Disallow: /
     
126. User-Agent: VelenPublicWebCrawler
     
127. Disallow: /
     
128. User-Agent: Webzio-Extended
     
129. Disallow: /
     
130. User-Agent: YouBot
     
131. Disallow: /

复制代码

结果发现还是打不开
方案二（一起使用）豆包给的方案：宝塔面板全局的 NGINX 配置文件中添加（在 http { 内添加）

1. # 1. 定义百度蜘蛛的User-Agent匹配规则（必须在http块内）
   
2.     map $http_user_agent $is_baidu_spider {
   
3.         default 0;
   
4.         "~*Baiduspider" 1;  # 匹配百度蜘蛛的 User-Agent
   
5.     }
   
6. 
   
7. 
   
8.     # 2. 定义限流区域（限制百度蜘蛛的请求频率）
   
9.      limit_req_zone $binary_remote_addr$is_baidu_spider zone=baidu_spider:10m rate=100r/m;
   
10.     # rate=300r/m：每个IP每分钟最多300次请求（可根据服务器性能调整）

复制代码

然后到网站配置规则里添加（在 server { 内添加）

1. # ------------------------ 缩略图专用优化（匹配完整路径） ------------------------
   
2.     # 匹配 /_data/i/upload/ 目录下的所有图片文件（含时间子目录，如 /2024/08/08/）
   
3.     location ~* ^/_data/i/upload/.*\.(jpg|jpeg|png|webp|avif|heic|heif)$ {
   
4.         # 强缓存1年（CDN/浏览器均可缓存）
   
5.         add_header Cache-Control "public, max-age=31536000";
   
6.         # 兼容旧浏览器（30天缓存）
   
7.         expires 30d;
   
8.         # 关闭缩略图访问日志（减少磁盘IO）
   
9.         access_log /dev/null;
   
10.         # 继承全局防盗链规则（非法 Referer 已被拦截，无需重复判断）
    
11.     }
    
12.    
    
13.    
    
14.     # ------------------------ AI 爬虫与原图保护 ------------------------
    
15.     # 定义需拦截的 User-Agent（AI 爬虫 + 恶意工具）
    
16.     set $block_ua 0;
    
17.     if ($http_user_agent ~* "(HTTrack|Apache-HttpClient|harvest|audit|dirbuster|pangolin|nmap|sqln|hydra|Parser|libwww|BBBike|sqlmap|w3af|owasp|Nikto|fimap|havij|zmeu|BabyKrokodil|netsparker|httperf|SF|AI2Bot|Ai2Bot-Dolma|aiHitBot|ChatGPT-User|ClaudeBot|cohere-ai|cohere-training-data-crawler|Diffbot|DuckAssistBot|GPTBot|img2dataset|OAI-SearchBot|Perplexity-User|PerplexityBot|Scrapy|TikTokSpider|VelenPublicWebCrawler)") {
    
18.         set $block_ua 1;
    
19.     }
    
20. 
    
21.     # 放行合法搜索引擎（百度、谷歌等）
    
22.     if ($http_user_agent ~* "(Baiduspider|Googlebot|bingbot|YandexBot|Sogou web spider|Bytespider)") {
    
23.         set $block_ua 0;
    
24.     }
    
25. 
    
26.     # 针对原图目录（/upload/）强化拦截（仅拦截恶意 UA，不影响正常用户）
    
27.     location ~* ^/upload/ {
    
28.         if ($block_ua = 1) {
    
29.             return 403;
    
30.         }
    
31.         try_files $uri $uri/ =404;
    
32.     }
    
33.    
    
34.    
    
35.     # ------------------------ 对动态页面限流（仅百度蜘蛛受影响） ------------------------
    
36.     location ~* ^/(picture.php|index.php) {
    
37.         # 直接应用限流（仅当 $is_baidu_spider=1 时，限流生效）
    
38.         limit_req zone=baidu_spider burst=20 nodelay;
    
39. 
    
40.         # 原有 PHP 处理逻辑（如 include enable-php-84.conf）
    
41.         include enable-php-84.conf;
    
42.     }
    
43.    
    
44. 
    
45.     # ------------------------ 其他配置 ------------------------   

复制代码

缩略图什么的是我网站使用的，根据实际情况修改。
方案三拉黑搜素引擎和 AI 蜘蛛的 IP 段（会导致网站内容不被收录）网站缓过来了在解除试下

技术的大佬可以分析下方案二会不会对网站有什么不好的影响

屏蔽下AI蜘蛛

一律按CC处理，60秒访问超40次，拉黑IP封3600秒，解封后再次触发，封禁自动叠加

网站弄成内部私密站，相当于知识星球，会员才可以看，就解决ai抓取问题了

可以参考 https://phpy.cn/36.html

维基百科都扛不住了

为分享干货点赞！我都是直接封IP，很多ai都是不讲武德，模仿用户访问，太损了。