nginx geo信息分析

使用场景

在 Nginx 中启用 GeoIP2 模块，记录用户访问日志，并通过 Python 脚本进行二次分析。

模块安装

在 Ubuntu 20+ / 22+ 系统中，GeoIP2 模块可以直接通过 apt 安装：

1
2
3
4
5
6
7
8
9
10
11
12
13
# 装模块（Ubuntu 20+/22+ 自带）
sudo apt install libnginx-mod-http-geoip2

# 下载免费的城市库
sudo mkdir -p /usr/share/GeoIP
sudo wget -O /usr/share/GeoIP/GeoLite2-City.mmdb \
  https://git.io/GeoLite2-City.mmdb

# 自动补缺失依赖
sudo apt install -f     

sudo dpkg --configure -a

文件配置

  1. 在 nginx.conf 中启用 geo 变量

在 http {} 段中加入如下配置：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
http {
    ...
    geoip2 /usr/share/GeoIP/GeoLite2-City.mmdb {
        auto_reload 5m;
        $geo_country country names en;
        $geo_region  subdivisions 0 names en;
        $geo_city    city names en;
    }

    log_format geo_combined '$remote_addr - $remote_user [$time_local] '
                            '"$request" $status $body_bytes_sent '
                            '"$http_referer" "$http_user_agent" '
                            'Country=$geo_country Region=$geo_region City=$geo_city';

    access_log /var/log/nginx/access_geo.log geo_combined;
    ...
}

  1. 在 server 块中单独启用日志
1
2
3
4
5
6
7
8
9
10
11
12
13
server {
    listen 443 ssl http2;
    ...
    ....
    ...
    # ⭐ 记录带有地理信息的日志
    access_log /var/log/nginx/xxxx_geo.log geo_combined;

    location / {
        try_files $uri $uri/ =404;
    }
}

3.启动与验证

1
2
3
4
5
6
7
8
9
10
# 检查配置是否正确
sudo nginx -t

# 重新加载配置
sudo systemctl reload nginx

# 查看实时日志
tail -f /var/log/nginx/xxxx_geo.log

可能端口已经被占用，可以先暂停端口监听：

1
2
3
sudo lsof -ti:80  | xargs -r sudo kill -9
sudo lsof -ti:443 | xargs -r sudo kill -9

如果输出为空说明端口已释放

日志分析

  • 自定义日志解析脚本
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
#!/usr/bin/env python3
import re, csv, os, glob, gzip
from user_agents import parse
from datetime import datetime, timedelta

LOG_DIR   = '/var/log/nginx'
LOG_PAT   = 'access_geo.log*'       # 支持 *.gz
OUT_DIR   = os.path.expanduser('~/nginx_geo_daily')

# 昨天的日期
day_str = (datetime.now() - timedelta(days=1)).strftime('%Y-%m-%d')
out_csv = os.path.join(OUT_DIR, f'{day_str}.csv')

# 正则：IP、时间、UA、Country、Region、City
line_re = re.compile(
    r'(?P<ip>\d+\.\d+\.\d+\.\d+) .*?\[(?P<dt>[^\]]+)\] '
    r'".*?" \d+ \d+ ".*?" "(?P<ua>[^"]+)" '
    r'Country=(?P<country>[^ ]+) Region=(?P<region>[^ ]+) City=(?P<city>[^ ]+)'
)

rows = []
for path in glob.glob(os.path.join(LOG_DIR, LOG_PAT)):
    opener = gzip.open if path.endswith('.gz') else open
    with opener(path, 'rt', encoding='utf-8', errors='ignore') as f:
        for line in f:
            m = line_re.search(line)
            if not m:
                continue
            ua = parse(m.group('ua'))
            rows.append({
                'datetime' : m.group('dt'),
                'ip'       : m.group('ip'),
                'device'   : ua.device.family,
                'os'       : ua.os.family,
                'browser'  : ua.browser.family,
                'country'  : m.group('country'),
                'region'   : m.group('region'),
                'city'     : m.group('city'),
            })

# 去重 & 排序
rows = sorted({(r['ip'], r['datetime']): r for r in rows}.values(),
              key=lambda r: r['datetime'])

os.makedirs(OUT_DIR, exist_ok=True)
with open(out_csv, 'w', newline='', encoding='utf-8') as f:
    writer = csv.DictWriter(f,
        fieldnames=['datetime','ip','device','os','browser','country','region','city'])
    writer.writeheader()
    writer.writerows(rows)

print(f'{len(rows)} records written to {out_csv}')


安装与运行

1
2
3
4
5
6
7
sudo mkdir -p /usr/local/bin /var/log/nginx/geo_daily
sudo tee /usr/local/bin/nginx_geo_daily.py < nginx_geo_daily.py
sudo chmod +x /usr/local/bin/nginx_geo_daily.py

# 手动执行 在/home/xxx/nginx_geo_daily/ 生成文件
/usr/local/bin/nginx_geo_daily.py

  • 定时任务

每天23：05执行

1
2
3
4
5
crontab -e

5 23 * * * /usr/bin/python3 /usr/local/bin/nginx_geo_daily.py >> ~/nginx_geo_daily/cron.log 2>&1