【nginx运维基础(4)】Nginx的日志管理(日志格式与定时分割日志)

Nginx 已归档

Nginx日志主要分为两种：访问日志和错误日志。日志开关在Nginx配置文件（一般在server段来配置）中设置，两种日志都可以选择性关闭，默认都是打开的。

访问日志access_log

#日志格式设定
log_format access '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" $http_x_forwarded_for';
#定义本虚拟主机的访问日志
access_log ar/loginx/ha97access.log access;

log_format access 中的access表示给后面定义的日志个数取了个名为main的名称，便于在access_log指令中引用

对比日志格式和输出的结果可以发现，日志格式用一对单引号包起来，多个日志格式段用可以放在不同的行，最后用分号(;)结尾
单引号中的双引号("),空白符，中括号([)等字符原样输出，比较长的字符串通常用双引号(")包起来，看起来不容易更加清楚，$开始的变量会替换为真实的值

日志的格式

$server_name  #虚拟主机名称。
$remote_addr  #远程客户端的IP地址。
-  #空白，用一个“-”占位符替代，历史原因导致还存在。
$remote_user  #远程客户端用户名称，用于记录浏览者进行身份验证时提供的名字，如登录百度的用户名scq2099yt，如果没有登录就是空白。
[$time_local]  #访问的时间与时区，比如18/Jul/2016:17:00:01 +0800，时间信息最后的"+0800"表示服务器所处时区位于UTC之后的8小时。
$request  #请求的URI和HTTP协议，这是整个PV日志记录中最有用的信息，记录服务器收到一个什么样的请求,请求的是什么
$status  #记录请求返回的http状态码，比如成功是200。
$uptream_status  #upstream状态，比如成功是200.
$body_bytes_sent  #发送给客户端的文件主体内容的大小，比如899，可以将日志每条记录中的这个值累加起来以粗略估计服务器吞吐量。
$http_referer  #记录从哪个页面链接访问过来的。 
$http_user_agent  #客户端浏览器信息
$http_x_forwarded_for  #客户端的真实ip，通常web服务器放在反向代理的后面，这样就不能获取到客户的IP地址了，通过$remote_add拿到的IP地址是反向代理服务器的iP地址。反向代理服务器在转发请求的http头信息中，可以增加x_forwarded_for信息，用以记录原有客户端的IP地址和原来客户端的请求的服务器地址。
$ssl_protocol  #SSL协议版本，比如TLSv1。
$ssl_cipher  #交换数据中的算法，比如RC4-SHA。 
$upstream_addr  #upstream的地址，即真正提供服务的主机地址。 
$request_time  #整个请求的总时间。 
$upstream_response_time  #请求过程中，upstream的响应时间。

访问日志中一个典型的记录如下：

192.168.1.102 - scq2099yt [18/Mar/2013:23:30:42 +0800] "GET /stats/awstats.pl?config=scq2099yt HTTP/1.1" 200 899 "http://192.168.1.1/pv/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows XXX; Maxthon)"

需要注意的是：log_format配置必须放在http内，否则会出现如下警告信息：

nginx: [warn] the "log_format" directive may be used only on "http" level in /etc/nginx/nginx.conf:97

access_log中记录post请求的参数

常见的nginx配置中access log一般都只有GET请求的参数，而POST请求的参数却不行。
http://wiki.nginx.org/NginxHttpCoreModule#.24request_body

$request_body
This variable(0.7.58+) contains the body of the request. The significance of this variable appears in locations with directives proxy_pass or fastcgi_pass.

正如上文件所示，只需要使用$request_body即可打出post的数据，在现存的server段加上下面的设置即可：

log_format access '$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent $request_body "$http_referer" "$http_user_agent" $http_x_forwarded_for';
access_log logs/test.access.log access;

错误日志error_log

错误日志主要记录客户端访问Nginx出错时的日志，格式不支持自定义。通过错误日志，你可以得到系统某个服务或server的性能瓶颈等。因此，将日志好好利用，你可以得到很多有价值的信息。错误日志由指令error_log来指定，具体格式如下：

error_log path(存放路径) level(日志等级)

path含义同access_log，level表示日志等级，具体如下：

[ debug | info | notice | warn | error | crit ]
从左至右，日志详细程度逐级递减，即debug最详细，crit最少。

举例说明如下：

error_log  logs/error.log  info;

需要注意的是：error_log off并不能关闭错误日志，而是会将错误日志记录到一个文件名为off的文件中。
正确的关闭错误日志记录功能的方法如下：

error_log /dev/null;

上面表示将存储日志的路径设置为“垃圾桶”。

location = /favicon.ico {  
  log_not_found off;   # 经常碰到favicon.ico找不到的日志，直接关闭它。
}  

日志分割

新版本Nginx支持自动切割并压缩日志，日志文件名如下：

access.log
access.log.1
access.log.2.gz
access.log.3.gz
error.log
error.log.1
error.log.2.gz
error.log.3.gz

默认是每天都会产生一个.gz文件。如果还不能满足你的需求的话,还可以用shell脚本+crond处理日志

#!/bin/bash
# The Nginx logs path
logs_path="/data0/logs"
logs_dir=${logs_path}/$(date -d "yesterday" +"%Y")/$(date -d "yesterday" +"%m")
logs_file=$(date -d "yesterday" +"%Y%m%d")
mkdir -p /data0/backuplogs/$(date -d "yesterday" +"%Y")/$(date -d "yesterday" +"%m")
tar -czf ${logs_path}/${logs_file}.tar.gz ${logs_path}/*.log
rm -rf ${logs_path}/*.log
mv ${logs_path}/${logs_file}.tar.gz /data0/backuplogs/$(date -d "yesterday" +"%Y")/$(date -d "yesterday" +"%m")
/usr/local/nginx/sbin/nginx -s reload
for oldfiles in `find /data0/backuplogs/$(date -d "30 days ago" +"%Y")/$(date -d "30 days ago" +"%m")/ -type f -mtime +30`
do
rm -f $oldfiles
done

00 00 * * * /usr/local/sbin/cut-logs.sh 2>&1 >/dev/null &