nginx+modsecurity-waf旁路部署

2020-08-04

背景

通过nginx的镜像流量及modsecurity开源waf相互配置，来达到Waf旁路部署的效果，搭建环境做了测试记录，一方面为了符合等保规范，另一方面也是为了推动安全建设。

FAQ: 为什么不直接串行部署？

首先，企业对生产网的流量出错容忍度其实很低，一切都要给生产让路，毕竟有了饭吃才能谈其他的，常用的串行部署都是为了能够实时封禁，这样一旦发生误报误封，一分钟造成的损失都是难以估量的，可如果把串行部署的waf改为只记录，不封禁的配置的话，waf就仅仅起到了影响了server处理速度的作用，不如旁路部署来的灵活，因此常见的银行证券类实时性要求较高的企业里，waf设备的部署都是旁路。

测试环境: centos7+nginx 1.17.5+modsecurity 3.0

一、 nginx的镜像流量配置

ngx_http_mirror_module模块在nginx版本1.13.4以后可以使用，通过创建镜像请求来实现原始请求的镜像，对镜像请求的响应将被忽略。

Example Configuration

location / {
    mirror /mirror; 
    proxy_pass http://backend;  ##实际转发URL地址
}

location = /mirror {
    internal;
    proxy_pass http://test_backend$request_uri;  ##备份转发URL地址
}

二、 nginx+modsecurity的旁路waf配置

本文中的配置严格参照modsecurity官网给的md文件做参考，如有不同请以官方配置手册为准。ModSecurity_3_NGINX_Quick_Start_Guide.pdf.

1
2
3

[root@centos24-4 ModSecurity]# rpm -ivh http://nginx.org/packages/centos/7/x86_64/RPMS/nginx-1.18.0-1.el7.ngx.x86_64.rpm
[root@centos24-4 ModSecurity]# systemctl enable nginx
[root@centos24-4 ModSecurity]# systemctl start nginx

创建一个虚拟server，该server监听端口80，并作为后续演示的入口。

vim /etc/nginx/conf.d/proxy.conf
server { 
listen 80; 
 location / {  
 	proxy_pass http://localhost:8085;  
 	proxy_set_header Host $host; 
 	} 
 }

配置了一个监听在8085的Web-server，返回状态代码200和包含所请求URI的消息：

vim  /etc/nginx/conf.d/echo.conf 
server { 
listen localhost:8085; 
 location / {  
 default_type text/plain;  
 return 200 "Thank you for requesting ${request_uri}\n"; 
 } 
}

[root@centos24-4 modules]#  curl -I http://localhost
HTTP/1.1 200 OK
Server: nginx/1.18.0
Date: Tue, 04 Aug 2020 08:53:50 GMT
Content-Type: text/html
Content-Length: 612
Last-Modified: Tue, 21 Apr 2020 15:07:31 GMT
Connection: keep-alive
ETag: "5e9f0c33-264"
Accept-Ranges: bytes

安装依赖组件

1
2

yum group install "Development Tools"
yum install -y gperftools gperftools-devel gd-devel perl-devel perl-ExtUtils-Embed GeoIP GeoIP-devel GeoIP-data pcre pcre-devel openssl openssl-devel libtool libtool-ltdl-devel gcc gcc-c++ gcc-g77 autoconf automake geoip geip-devel libcurl libcurl-devel  yajl yajl-devel lmdb-devel  ssdeep-devel  lua-devel

将modsecurity编译为nginx动态模块

安装必需的必备软件包后，下一步就是将ModSecurity编译为NGINX动态模块。在ModSecurity 3 0的新模块化体系结构中，libmodsecurity是包含所有规则和功能的核心组件。

从git上克隆代码并编译安装。

[root@centos24-4 ModSecurity]# git clone --depth 1 -b v3/master --single-branch  https://github.com/SpiderLabs/ModSecurity 
[root@centos24-4 ModSecurity]# cd ModSecurity 
[root@centos24-4 ModSecurity]# git submodule init 
[root@centos24-4 ModSecurity]# git submodule update 
[root@centos24-4 ModSecurity]# ./build.sh 
[root@centos24-4 ModSecurity]# ./configure 
[root@centos24-4 ModSecurity]# make -j4 
[root@centos24-4 ModSecurity]# make install

下载用于ModSecurity的NGINX连接器并将其编译为动态模块

modsecurity体系结构的第二个主要组件是将libmodsecurity链接到运行它的Web服务器的连接器。NGINX和Apache HTTP Server有单独的connector。

A 克隆github-repo

1	git clone --depth 1 https://github.com/SpiderLabs/ModSecurity-nginx.git

B 查看nginx版本，并下载对应版本的nginx源代码，即使只是需要编译动态模块依然是需要源码的。

C 编译动态模块并将其复制到模块的标准目录中

[root@centos24-4 opt]# nginx -V
nginx version: nginx/1.18.0
[root@centos24-4 ModSecurity]# wget http://nginx.org/download/nginx-1.18.0.tar.gz
[root@centos24-4 ModSecurity]# tar zxvf nginx-1.18.0.tar.gz
[root@centos24-4 ModSecurity]# cd nginx-1.18.0
[root@centos24-4 ModSecurity]# ./configure --with-compat --add-dynamic-module=../ModSecurity-nginx
[root@centos24-4 ModSecurity]# make modules
[root@centos24-4 ModSecurity]# cp objs/ngx_http_modsecurity_module.so /etc/nginx/modules

D 加载NGINX ModSecurity Connector动态模块

1 2	vim /etc/nginx/nginx.conf load_module modules/ngx_http_modsecurity_module.so;

配置nginx与modsecurity

配置ModSecurity 3.0通过阻止某些请求来测试Web应用程序.

[root@centos24-4 nginx]# sudo mkdir /etc/nginx/modsec
[root@centos24-4 nginx]# cd /etc/nginx/modsec/
[root@centos24-4 modsec]# sudo wget https://raw.githubusercontent.com/SpiderLabs/ ModSecurity/v3/master/modsecurity.conf-recommended
[root@centos24-4 modsec]# sudo mv modsecurity.conf-recommended modsecurity.conf

将modsecurity.conf中现有的SecRuleEngine修改为On：

1 2	# SecRuleEngine DetectionOnly SecRuleEngine On

创建自定义规则来测试

vim  /etc/nginx/modsec/main.conf
# Include the recommended configuration 
Include /etc/nginx/modsec/modsecurity.conf 
# A test rule 
SecRule ARGS:testparam "@contains test" "id:1234,deny,log,status:403"

在nginx的conf中添加相应的规则来测试

vim /etc/nginx/conf.d/proxy.conf
server { 
	listen 80;
	modsecurity on; 
	modsecurity_rules_file /etc/nginx/modsec/main.conf; 
 location / {  
 proxy_pass http://localhost:8085;  
 proxy_set_header Host $host; 
 } 
}
[root@centos24-4 modsec]# nginx -s reload

通过发出在查询字符串testparam参数的值中包含字符串test的请求，验证步骤4中配置的规则是否正常工作，出现403证明触发了相应的规则，进一步可以在log里看到触发的是我们自定义的规则。

[root@centos24-4 conf.d]# curl -I http://localhost/foo?testparam=thisisatestofmodsecurity
HTTP/1.1 403 Forbidden
Server: nginx/1.18.0
Date: Tue, 04 Aug 2020 09:10:44 GMT
Content-Type: text/html
Content-Length: 153
Connection: keep-alive

三、测试对镜像流量是否有响应

测试拓扑

nginx+modsecurity (1)

nginx.conf文件配置如下图,其中X-Real-IP是用来获得客户端真实IP转发给镜像流量用于识别。

在WebServer18-3上用python虚拟一个Server来接收请求:

[root@centos18-3 opt]# python -m SimpleHTTPServer 8888
Serving HTTP on 0.0.0.0 port 8888 ...
192.168.24.1 - - [04/Aug/2020 19:27:28] code 404, message File not found
192.168.24.1 - - [04/Aug/2020 19:27:28] "HEAD /modsec/foo?testparam=thisisatestofmodsecurity HTTP/1.0" 404 -

在测试机18-1上发起如下测试请求:

[root@centos18-1 op_e]# curl -I http://192.168.24.1/modsec/foo?testparam=thisisatestofmodsecurity
HTTP/1.1 404 File not found
Server: nginx/1.16.1
Date: Tue, 04 Aug 2020 11:27:29 GMT
Content-Type: text/html
Connection: keep-alive

可以看到18.3Server给返回的是404，同时在24.4waf上抓包，可以看到有告警日志，说明规则匹配成功，且达到了旁路接入waf的效果。

总结

相同的效果可以通过tcpcopy的思路也能做,且tcpcopy可以进行更多的流量分析,不只是通过nginx走的流量.