上上个月架构全部迁移上云以后,总的来说比较稳定,业务量也上来,可爱的坏人也来了,7X24小时不停恶意攻击我的网站,第一次收到报警是网站流入流量1分钟以内连续3次超过1000000bps,换算下1M/s秒,平时没那么大流量的啊,当时刚好在朋友家玩,于赶紧开本本连vpn检查,发现全是访问同一个页面的请求,而且是正常访问http 200,应该是被恶意攻击了。
发现问题:
发现问题第一反应,赶紧将请求地址截图发给开发们看看,问问这个具体是什么?
最后得知是为短信验证码接口,据后来统计在被持续攻击的一个多小时中损失16000多条短信。
解决问题:
一期防攻击策略:
发现问题当然要立马解决了,当时思路就是统计nginx日志,当单个ip在10秒钟内访问 /account/sendPhoneCode次数超过5次,就禁用这个ip,正常用户不可能有么大的访问量,于是就有了下面的防攻击shell脚本。
这个脚本加在定时任务里每分钟执行一次,半夜0点自动重启动防火墙,释放IP,基本上防止了攻击,大概使用了半个月。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
|
#!/bin/bash #write: lijing QQ 858080796 #date: 20160528 v2.0 #description:拦截非法IP #定义变量 RETVAL=0 Date=$( date '+%Y-%m-%d' ) Time=$( date '+%Y:%H:%M' -d '-1 minute' ) MON=$( date | awk -F " " '{print $2}' ) TODAY=$( date | awk -F " " '{print $3}' ) Log= "/data/logs/nginx/access.log " LINE= "70000" #关键字 Key01= "sendPhoneCode" Status= /tmp/statuS_deny_ip /sbin/service iptables status > $Status #定义函数 #禁止时间函数 secure_deny_time(){ Time01=$( date "+%H:%M:%S" -d " -10 second" ) Time02=$( date "+%H:%M:%S" -d " -9 second" ) Time03=$( date "+%H:%M:%S" -d " -8 second" ) Time04=$( date "+%H:%M:%S" -d " -7 second" ) Time05=$( date "+%H:%M:%S" -d " -6 second" ) Time06=$( date "+%H:%M:%S" -d " -5 second" ) Time07=$( date "+%H:%M:%S" -d " -4 second" ) Time08=$( date "+%H:%M:%S" -d " -3 second" ) Time09=$( date "+%H:%M:%S" -d " -2 second" ) Time10=$( date "+%H:%M:%S" -d " -1 second" ) echo "$Time01 $Time02 $Time03 $Time04 $Time05 $Time06 $Time07 $Time08 $Time09 $Time10 " } # 禁止关键字函数 secure_key(){ tail -n $LINE $LOG | grep "$TODAY\/$MON" | grep - v ^$| grep $TIME| grep $1 | grep $2 | grep $3 | grep $4 | awk -F " " '{print $1}' | sort >> $Deny echo " grep " $TODAY\/$MON " $LOG |grep -v ^$|grep $TIME|grep $1 |grep $2 |grep $3 |grep $4 |awk '{print $1}' |sort" } #执行防火墙拦截函数 secure_deny_ip() { cat $Deny echo ...................... cat $Deny02 for i in $IP; do NUM=$( cat $Deny02| grep $i| awk -F " " '{print $1}' ) if [ -z $NUM ]; then echo " " else if [ $NUM - ge $Dot ]; then for y in $i; do grep $y $Status > /dev/null 2>&1 RETVAL=$? [ $RETVAL != 0 ] && echo "/sbin/iptables -I INPUT -s $y -j DROP" [ $RETVAL != 0 ] && /sbin/iptables -I INPUT -s $y -j DROP [ $RETVAL != 0 ] && echo "$(date " +%H:%M:%S ") $y " >> /tmp/ $Date #[ $RETVAL != 0 ] && /sbin/iptables -I INPUT -s $y -p tcp -j REJECT done fi fi done } NUMBER= "1 2 3 4 5 6" for NUMBER in $NUMBER ; do sleep 10s #定义点击次数 Dot Dot=5 Deny= /tmp/secure_deny_tmp_ $NUMBER Deny02= /tmp/secure_deny_ $NUMBER #第1次,检查当前时间以前10s. 如: 0-10秒 echo "第$NUMBER 次,检查当前时间以前第$NUMBER 个10s.大于 $Dot 次攻击阻止" echo > $Deny for LOG in ` echo $Log` ; do secure_deny_time for TIME in $Time01 $Time02 $Time03 $Time04 $Time05 $Time06 $Time07 $Time08 $Time09 $Time10 ; do secure_key $Key01 done cat $Deny| sort | uniq -c > $Deny02 IP=$( cat $Deny02| awk -F " " '{print $2}' ) secure_deny_ip done done exit |
二期防攻击策略:
Shell脚本运行的半个月时间里,虽然防止了攻击,但是公司客服反馈有客户被误杀,最严重的是公司有次活动,10秒内发5个短信请求很正常啊,误杀了部分用户,被防火墙禁止IP不能访问任何服务。于是得从nginx应用层找方法,不能用老套方法禁IP了,在网上在找几天的资料解决,几乎没有相同的案例,只能自己创造了。
天道酬勤,终于有了两个思路:
一是nginx结合lua来防攻击(在网上看得我云里雾里的,最后不会lua选择放弃这个方案)。
二是利用ngx_http_referer_module(当时看了2天官网英文资料,http://nginx.org/en/docs/http/ngx_http_referer_module.html,这个页面的让我找到方法,尤其是nginx的if 语句)。
对比攻击日志和正常日志发现,其$http-referer是不同的,如下图:
正常访问:
最终解决思路:
1、去掉了原来的 拦截ip策略,不载拦截ip。
2、启用nignx的location 匹配/account 的$http-referer的过滤,当不是正常$http-referer,直接在再nginx处理。
Nginx配置如下:
1
2
3
4
5
6
7
|
location ~ /account (/.*) { if ($http_referer ~ "https://www.xxxxxxxx.net/account/sendPhoneCode" ) { #如果匹配就直接返回200,返回404,也行啊,自己定。给可爱的攻击者,不传给后端web return 200; } #不匹配,传给后端web proxy_pass http: //web_group/account/ ; } |
整个防攻击到现在没有出现任何问题,效果杠杠的。后期会增加第三期,主要是我们NB的开发,从程序级解决,如增加各种验证啊。