Filebeat 采集 Nginx 日志

nginx 日志可用于分析用戶地址位置，行為畫像等，如何通過 Elastic Stack 進行一站式的數據采集，數據清洗，數據落地，數據可視化，讓數據發揮真正的價值呢？

涉及到 Elastic Stack 中 Filebeat 是用于采集 Nginx 相關的日志， Elasticsearch 是用于對于數據落地存儲和搜索的引擎， Kibana 是用于對數據可視化的工具。

在 Nginx 中相關的日志是存儲在 /var/log/nginx 目錄下的，分別是訪問日志 access.log，錯誤日志 error.log。

如果是裸機環境下，可以直接在同一主機下安裝 Filebeat 針對日志文件進行采集。

如果是 Docker 環境下，建議 Nginx 使用 Volume 的方式進行共享日志文件給 Filebeat 采集。

如果是 Kubernetes 環境下，建議在 Pod 中添加 Filebeat Container進行對 PV 采集。

針對不同場景有不同的采集方案，有些可以利用Daemonset采集宿主機上的日志，有些是以Sidecar方式進行采集，具體視業務場景而定。

以 Docker 環境下為例

創建存儲卷，便于 Nginx 和 Filebeat 容器共同掛載

docker volume create nginx-log-volume

啟動 Nginx 容器，并且將存儲卷映射到日志目錄

docker run -d --name nginx -p 80:80 -v nginx-log-volume:/var/log/nginx nginx:latest

進入容器修改配置

docker exec -it nginx /bin/bash

由于容器環境下，默認的日志會輸入到stdout，所以取消該設置并指定文件

unlink /var/log/nginx/access.log

unlink /var/log/nginx/error.log

touch /var/log/nginx/access.log /var/log/nginx/error.log

nginx -s reload

啟動 Filebeat 容器，并且將存儲卷映射到數據目錄

docker run -d --name filebeat --user=root -v nginx-log-volume:/data elastic/filebeat:7.9.2

進入容器修改配置

docker exec -it filebeat /bin/bash

修改配置，添加 Elasticsearch 和 Kibana 的主機

vi filebeat.yml

filebeat.config: modules: path: ${path.config}/modules.d/*.yml reload.enabled: false processors: - add_cloud_metadata: ~ - add_docker_metadata: ~ output.elasticsearch: hosts: 'elasticsearch:9200' username: "elastic" password: "xxx" setup.kibana: host: "kibana:5601"

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

啟用 Nginx 采集模塊

filebeat modules enable nginx

編輯 Nginx 采集配置

vi modules.d/nginx.yml

- module: nginx access: enabled: true var.paths: ["/data/access.log*"] error: enabled: true var.paths: ["/data/error.log*"]

1

2

3

4

5

6

7

設置 Filebeat 創建 Kibana上的 Index Pattern 和 Dashboard

filebeat setup

重啟 Filebeat 生效配置

docker restart filebeat

通過 Kibana 中的 Dashboard 功能

展示 Nginx 對于日志的訪問情況及用戶地址位置、瀏覽器信息

展示 Nginx 對于訪問日志和錯誤日志的具體請求信息

Nginx

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。