来个技术贴吧【防采集】效果有98%!

想飞的菜鸟

网站被采集 应该是所有站长最烦的一件事了！
先不说网站内容是否优质！
单说服务器被搞崩，
这个最烦！


就比如很多小站，内容也是采集的，
或者AI的，他根本不怕你复制他几篇内容！
但是你上采集，让他网站打开变的很慢，甚至他不开！
他绝对点起一根烟，打开宝塔面板，然后看着标红的服务器图标，开始骂娘！


果不然，不是不报，时候未到！轮到采集我了undefined！4核8G的服务器都被采集到打开巨慢！
经过多轮的斗智斗勇，服务器的负载状态终于流畅了！



讲一下思路吧！大佬们可以举一反三！效果更好的也请分享给我哈！
我们要做一个【蜜罐陷阱​​】也就是【隐藏诱饵链接】

1. [url=/rinidaye]Rinidaye Link[/url]

复制代码

监控访问此链接的IP并自动封禁。


Nginx配置​​：

1. # 蜜罐陷阱路径
   
2. location = /rinidaye {
   
3.     # 记录访问日志（单独文件便于分析）
   
4.     access_log /var/log/nginx/rinidaye.log;
   
5.     # 返回404或伪装成正常页面（避免采集器察觉异常）
   
6.     return 404;
   
7. }

复制代码

添加隐藏诱饵链接​​
在网页的HTML代码中插入一个​​肉眼不可见但爬虫能抓取的链接​​。

1. 
   
2. [url=/rinidaye]Rinidaye Link[/url]

复制代码

细节：​​
使用 display: none 或 opacity: 0 彻底隐藏链接。
避免在链接中写入有意义的内容（如“点击这里”），防止被逆向分析。
可随机生成多个隐藏链接路径（如 /rinidaniang123），提高迷惑性。



自动封禁访问蜜罐的IP​​
通过Shell脚本分析蜜罐日志，自动封禁触发陷阱的IP。


​​脚本示例​​ (block_rinidaye_ips.sh)：

1. #!/bin/bash
   
2. # 蜜罐日志路径
   
3. LOG_FILE="/var/log/nginx/rinidaye.log"
   
4. # 封禁IP列表
   
5. BLOCKED_IPS="/tmp/rinidaye_ips.txt"
   
6. 
   
7. # 提取过去5分钟内访问蜜罐的IP
   
8. awk -vDate="$(date -d '5 minutes ago' +[%d/%b/%Y:%H:%M:%S)" '($4 > Date)' $LOG_FILE | awk '{print $1}' | sort | uniq > $BLOCKED_IPS
   
9. 
   
10. # 遍历IP并封禁
    
11. while read ip; do
    
12.     # 检查是否已封禁
    
13.     if ! iptables -C INPUT -s $ip -j DROP 2>/dev/null; then
    
14.         iptables -A INPUT -s $ip -j DROP
    
15.         echo "[$(date)] 封禁IP: $ip" >> /var/log/rinidaye_block.log
    
16.     fi
    
17. done < $BLOCKED_IPS

复制代码

配置宝塔计划任务​​
在宝塔面板中添加定时任务，定期执行封禁脚本。
​​操作步骤：​​
进入宝塔面板 → ​​计划任务​​ → 添加任务。
任务类型选择 ​​Shell脚本​​。
执行周期设置为 ​​每3分钟​​。
脚本内容粘贴上述 block_rinidaye_ips.sh 的代码。
保存并测试执行。

手动测试蜜罐链接：​​
curl -I http://你的域名/rinidaye
预期结果：返回 404 Not Found，且IP会被脚本封禁。



查看封禁日志：​​
cat /var/log/rinidaye_block.log

​​避免误伤​​：
确保蜜罐链接完全隐藏，正常用户才不会触发。

定期更换蜜罐路径，如：
/rinidaye-2025
/rinidaye-2026
/rinidaniang
/riniquanjia
或者多设置一些连接，随机显示！不要让那些老表找到规律！

定期清理蜜罐日志，已经封完ip的日志就没什么用了，把磁盘空间释放出来。
通过这种方式，阻断采集，且对正常用户无感知。

重点：把搜索引擎的ip段加到白名单！如百毒，斗狗，神婆等！


很久没在论坛看到技术贴了！那我来发一个！
抱怨环境，不如多些思路，然后埋头苦干！
会收录方面的大佬，我很想和你做朋友啊！undefined

tkv2373

没理解啊，采集根本不会访问到你这个链接啊，正常采集就是列表页，并且按规则取啊，你这个明显不是列表页或者文章页啊，只有爬虫才会顺着链接爬

散步人生

想法不错，不过搜索引擎的IP不是你能加的完的，可谓是伤敌一千自损八百。

红黑白蓝

另外，采集防范很简单的啊，按IP+UA为单位判断，设置CC规则，60秒超过20次，肯定是不正常访问啊，直接封IP

E拨通

什么玩意，我遍历分页能爬到你这个链接吗？ 我一看不对劲，每个分页多遍历一个链接（我采集分页，我都会数一下列表页每页多少个文章，例如10篇，）我多采集一个，我就觉得不对劲我就给你过滤掉了，根本不会进你这个所谓的蜜罐。