Nginx監(jiān)控安裝：Filebeat+ES+Grafana（全）

這篇具有很好參考價(jià)值的文章主要介紹了Nginx監(jiān)控安裝：Filebeat+ES+Grafana（全）。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方，請(qǐng)大家不吝賜教，您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

’ $remote_user’

’ [$time_local]’

’ “$request”’

’ $status’

’ $body_bytes_sent’

’ “$http_referer”’

’ “$http_user_agent”’

’ “$http_x_forwarded_for”’

’ $upstream_response_time’

’ $upstream_addr’;

access_log logs/access.log main;

upstream gateway_pool {

網(wǎng)關(guān)的地址

server 106.12.129.14:9200;

}

server {

listen 80;

#this line shoud be include in every server block

include /app/openresty/nginx/waf/verynginx/verynginx/nginx_conf/in_server_block.conf;

#include /app/openresty/nginx/waf/verynginx/nginx_conf/in_http_block.conf;

location / {

proxy_http_version 1.1;

proxy_set_header Connection “”;

proxy_redirect off;

proxy_set_header X-Real-IP $remote_addr;

proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

proxy_set_header X-Forwarded-Host $host;

proxy_set_header X-Forwarded-Proto $http_x_forwarded_proto;

proxy_set_header Host $host;

proxy_pass http://gateway_pool;

}

#---------------VeryNginx config code end-----------------

如果不使用 VeryNginx 提供的配置模版，你也可以手動(dòng)把這部分加入到自己的 Nginx 配置文件中. (如果安裝路徑不是/app/openresty ，需要對(duì) lua_package_cpath 和 lua_package_path 的值進(jìn)行修改)

1.4 啟/停服務(wù)

啟動(dòng)服務(wù)： /app/openresty/nginx/sbin/nginx

停止服務(wù)：/app/openresty/nginx/sbin/nginx -s stop

1.5 配置VeryNginx

打開瀏覽器訪問 http://127.0.0.1/VeryNginx/dashboard/index.html。

默認(rèn)用戶名和密碼：verynginx / verynginx 。

登錄之后就可以查看狀態(tài)，并對(duì)配置進(jìn)行修改了。修改配置后，記得到「配置 > 系統(tǒng) > 全部配置」去保存.

提示

通過 VeryNginx 控制面板保存新配置之后，會(huì)立刻生效，并不需要 restart/reload Nginx。
VeryNginx 把配置保存在 /app/openresty/nginx/waf/verynginx/configs/config.json 里面。
如果因?yàn)榕溴e(cuò)了什么選項(xiàng)，導(dǎo)致無法登錄，可以手動(dòng)刪除 config.json 來清空配置。

已安裝成功openresty

可以用網(wǎng)盤的覆蓋/app/openresty/nginx/waf目錄

鏈接：https://pan.baidu.com/s/1nt2SfrDtk83Q4gvwIlpBfQ 提取碼：g5hs

2. 安裝elasticsearch

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.5.4.tar.gz

tar -zxvf elasticsearch-6.5.4.tar.gz -C /usr/local/

useradd es

chown -R es:es /usr/local/elasticsearch-6.5.4/

cd /usr/local/elasticsearch-6.5.4

修改config/jvm.options為內(nèi)存的一半大小

vi config/jvm.options

-Xms512m

-Xmx512m

修改 max file 和 max virtual memory 參數(shù)

用root 或 sudo 用戶

vi /etc/sysctl.conf

添加下面配置：

vm.max_map_count=655360

并執(zhí)行命令：

sysctl -p

配置端口跨域

vi /usr/local/elasticsearch-6.5.4/config/elasticsearch.yml

cluster.name: elasticsearch

node.name: node-1

network.host: 0.0.0.0

http.port: 9200

node.max_local_storage_nodes: 2

http.cors.enabled: true

http.cors.allow-origin: “*”

切換es用戶

su - es

在Elasticsearch主目錄下運(yùn)行下列命令來安裝這些插件：

bin/elasticsearch-plugin install ingest-geoip

bin/elasticsearch-plugin install ingest-user-agent

es用戶啟動(dòng)

/usr/local/elasticsearch-6.5.4/bin/elasticsearch -d

root用戶啟動(dòng)

su - es -c ‘/usr/local/elasticsearch-6.5.4/bin/elasticsearch -d’

2.1 windows 安裝elasticseach-head

訪問 https://github.com/mobz/elasticsearch-head 下載 head 插件（選擇 zip 壓縮包下載方式）。

/usr/share/filebeat/module/nginx/access/ingest,程序員,nginx,elasticsearch,grafana

修改 ~\elasticsearch-6.6.2\elasticsearch-head-master\Gruntfile.js，在對(duì)應(yīng)的位置加上 hostname:’*’ 配置項(xiàng)。

/usr/share/filebeat/module/nginx/access/ingest,程序員,nginx,elasticsearch,grafana

在 ~\elasticsearch-6.6.2\elasticsearch-head-master 下執(zhí)行 npm install 開始安裝，完成后可執(zhí)行 grunt server 或者 npm run start 運(yùn)行 head 插件。

/usr/share/filebeat/module/nginx/access/ingest,程序員,nginx,elasticsearch,grafana

安裝成功，訪問 http://localhost:9100/。

/usr/share/filebeat/module/nginx/access/ingest,程序員,nginx,elasticsearch,grafana

2.2 注意事項(xiàng)

在 head 中連接 ES 失敗。

/usr/share/filebeat/module/nginx/access/ingest,程序員,nginx,elasticsearch,grafana

對(duì)于 Access-Control-Allow-Origin 的問題，可以在 ElasticSearch 6.x 的 ~\config\elasticsearch.yml 文件的末尾加入以下代碼：

http.cors.enabled: true

http.cors.allow-origin: “*”

node.master: true node.data: true

配置更新后，重啟 ES 即可連接成功。

3. 安裝Filebeat

推薦博客：https://www.cnblogs.com/cjsblog/p/9495024.html

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.5.4-linux-x86_64.tar.gz

tar -zxvf filebeat-6.5.4-linux-x86_64.tar.gz -C /usr/local/

cd /usr/local/

mv filebeat-6.5.4-linux-x86_64 filebeat-6.5.4

cd /usr/local/filebeat-6.5.4

vi filebeat.yml

filebeat.inputs:

type: log

enabled: false

paths:

/app/openresty/nginx/logs/access.log

#============================= Filebeat modules ===============================

filebeat.config.modules:

path: ${path.config}/modules.d/*.yml

reload.enabled: false

setup.template.settings:

index.number_of_shards: 3

setup.template.name: “nginx-log-”

setup.template.pattern: “nginx-log-*”

setup.template.overwrite: true

output.elasticsearch:

enabled: true

hosts: [“106.13.3.200:9200”]

index: “nginx-log-%{+yyyy-MM-dd}”

#================================ Processors =====================================

Configure processors to enhance or manipulate events generated by the beat.

processors:

#- add_host_metadata: ~

#- add_cloud_metadata: ~

drop_fields:

fields: [“beat.name”, “beat.version”, “host.architecture”,“host.architecture”,“host.name”,“beat.hostname”,“l(fā)og.file.path”]

3.1 啟用模塊nginx

cd /usr/local/filebeat-6.5.4/modules.d

vi nginx.yml

執(zhí)行以下配置

module: nginx

Access logs

access:

enabled: true

Set custom paths for the log files. If left empty,

Filebeat will choose the paths depending on your OS.

var.paths: [“/app/openresty/nginx/logs/access.log”]

Error logs

error:

enabled: true

Set custom paths for the log files. If left empty,

Filebeat will choose the paths depending on your OS.

var.paths: [“/app/openresty/nginx/logs/error.log”]

3.2 配置 default.json

cd /usr/local/filebeat-6.5.4/module/nginx/access/ingest

vi default.json

{

“description”: “Pipeline for parsing Nginx access logs. Requires the geoip and user_agent plugins.”,

“processors”: [{

“grok”: {

“field”: “message”,

“patterns”:[

“”?%{IP_LIST:nginx.access.remote_ip_list} - %{DATA:nginx.access.user_name} \[%{HTTPDATE:nginx.access.time}\] “%{GREEDYDATA:nginx.access.info}” %{NUMBER:nginx.access.response_code} %{NUMBER:nginx.access.body_sent.bytes} “%{DATA:nginx.access.referrer}” “%{DATA:nginx.access.agent}” “%{GREEDYDATA:nginx.access.xforwardedfor}” %{GREEDYDATA:nginx.access.upstream_response_time} %{GREEDYDATA:nginx.access.upstream_addr}"

“pattern_definitions”: {

“IP_LIST”: “%{IP}(”?,?\s*%{IP})*"

“ignore_missing”: true

}

}, {

“grok”: {

“field”: “nginx.access.info”,

“patterns”: [

“%{WORD:nginx.access.method} %{DATA:nginx.access.url} HTTP/%{NUMBER:nginx.access.http_version}”,

“”

“ignore_missing”: true

}

}, {

“remove”: {

“field”: “nginx.access.info”

}

}, {

“split”: {

“field”: “nginx.access.remote_ip_list”,

“separator”: “”?,?\s+"

}

}, {

“script”: {

“l(fā)ang”: “painless”,

“inline”: “boolean isPrivate(def ip) { try { StringTokenizer tok = new StringTokenizer(ip, ‘.’); int firstByte = Integer.parseInt(tok.nextToken()); int secondByte = Integer.parseInt(tok.nextToken()); if (firstByte == 10) { return true; } if (firstByte == 192 && secondByte == 168) { return true; } if (firstByte == 172 && secondByte >= 16 && secondByte <= 31) { return true; } if (firstByte == 127) { return true; } return false; } catch (Exception e) { return false; } } def found = false; for (def item : ctx.nginx.access.remote_ip_list) { if (!isPrivate(item)) { ctx.nginx.access.remote_ip = item; found = true; break; } } if (!found) { ctx.nginx.access.remote_ip = ctx.nginx.access.remote_ip_list[0]; }”

}

}, {

“remove”:{

“field”: “message”

}

}, {

“rename”: {

“field”: “@timestamp”,

“target_field”: “read_timestamp”

}

}, {

“date”: {

“field”: “nginx.access.time”,

“target_field”: “@timestamp”,

“formats”: [“dd/MMM/YYYY:H??s Z”]

}

},{

“remove”: {

“field”: “nginx.access.time”

}

}, {

“user_agent”: {

“field”: “nginx.access.agent”,

“target_field”: “nginx.access.user_agent”

}

}, {

“rename”: {

“field”: “nginx.access.agent”,

“target_field”: “nginx.access.user_agent.original”

}

}, {

“geoip”: {

“field”: “nginx.access.remote_ip”,

“target_field”: “nginx.access.geoip”

}

}, {

“script”: {

“l(fā)ang”: “painless”,

“inline”: “String tmp=ctx.nginx.access.upstream_response_time; if (tmp==‘-’){ctx.nginx.access.upstream_response_time=-1.0}else{ctx.nginx.access.upstream_response_time=Float.parseFloat(tmp)}”

}

}],

“on_failure” : [{

“set” : {

“field” : “error.message”,

“value” : “{{ _ingest.on_failure_message }}”

}

}]

}

cd /usr/local/filebeat-6.5.4

nohup ./filebeat -e -c filebeat.yml >&/dev/null &

4. 安裝Grafana

自我介紹一下，小編13年上海交大畢業(yè)，曾經(jīng)在小公司待過，也去過華為、OPPO等大廠，18年進(jìn)入阿里一直到現(xiàn)在。

深知大多數(shù)Java工程師，想要提升技能，往往是自己摸索成長或者是報(bào)班學(xué)習(xí)，但對(duì)于培訓(xùn)機(jī)構(gòu)動(dòng)則幾千的學(xué)費(fèi)，著實(shí)壓力不小。自己不成體系的自學(xué)效果低效又漫長，而且極易碰到天花板技術(shù)停滯不前！

因此收集整理了一份《2024年Java開發(fā)全套學(xué)習(xí)資料》，初衷也很簡單，就是希望能夠幫助到想自學(xué)提升又不知道該從何學(xué)起的朋友，同時(shí)減輕大家的負(fù)擔(dān)。 /usr/share/filebeat/module/nginx/access/ingest,程序員,nginx,elasticsearch,grafana

/usr/share/filebeat/module/nginx/access/ingest,程序員,nginx,elasticsearch,grafana

既有適合小白學(xué)習(xí)的零基礎(chǔ)資料，也有適合3年以上經(jīng)驗(yàn)的小伙伴深入學(xué)習(xí)提升的進(jìn)階課程，基本涵蓋了95%以上Java開發(fā)知識(shí)點(diǎn)，真正體系化！

由于文件比較大，這里只是將部分目錄截圖出來，每個(gè)節(jié)點(diǎn)里面都包含大廠面經(jīng)、學(xué)習(xí)筆記、源碼講義、實(shí)戰(zhàn)項(xiàng)目、講解視頻，并且會(huì)持續(xù)更新！

如果你覺得這些內(nèi)容對(duì)你有幫助，可以掃碼獲?。。。▊渥ava獲?。?/strong>

最后

我還通過一些渠道整理了一些大廠真實(shí)面試主要有：螞蟻金服、拼多多、阿里云、百度、唯品會(huì)、攜程、豐巢科技、樂信、軟通動(dòng)力、OPPO、銀盛支付、中國平安等初，中級(jí)，高級(jí)Java面試題集合，附帶超詳細(xì)答案，希望能幫助到大家。

還有專門針對(duì)JVM、SPringBoot、SpringCloud、數(shù)據(jù)庫、Linux、緩存、消息中間件、源碼等相關(guān)面試題。

《一線大廠Java面試題解析+核心總結(jié)學(xué)習(xí)筆記+最新講解視頻+實(shí)戰(zhàn)項(xiàng)目源碼》，點(diǎn)擊傳送門即可獲??！
mg-19boGMyf-1711804720790)]

既有適合小白學(xué)習(xí)的零基礎(chǔ)資料，也有適合3年以上經(jīng)驗(yàn)的小伙伴深入學(xué)習(xí)提升的進(jìn)階課程，基本涵蓋了95%以上Java開發(fā)知識(shí)點(diǎn)，真正體系化！

由于文件比較大，這里只是將部分目錄截圖出來，每個(gè)節(jié)點(diǎn)里面都包含大廠面經(jīng)、學(xué)習(xí)筆記、源碼講義、實(shí)戰(zhàn)項(xiàng)目、講解視頻，并且會(huì)持續(xù)更新！

如果你覺得這些內(nèi)容對(duì)你有幫助，可以掃碼獲?。。。▊渥ava獲?。?/strong>

最后

我還通過一些渠道整理了一些大廠真實(shí)面試主要有：螞蟻金服、拼多多、阿里云、百度、唯品會(huì)、攜程、豐巢科技、樂信、軟通動(dòng)力、OPPO、銀盛支付、中國平安等初，中級(jí)，高級(jí)Java面試題集合，附帶超詳細(xì)答案，希望能幫助到大家。

[外鏈圖片轉(zhuǎn)存中…(img-GukxfK1l-1711804720791)]

還有專門針對(duì)JVM、SPringBoot、SpringCloud、數(shù)據(jù)庫、Linux、緩存、消息中間件、源碼等相關(guān)面試題。

[外鏈圖片轉(zhuǎn)存中…(img-Mmb1AHPY-1711804720791)]

《一線大廠Java面試題解析+核心總結(jié)學(xué)習(xí)筆記+最新講解視頻+實(shí)戰(zhàn)項(xiàng)目源碼》，點(diǎn)擊傳送門即可獲取！文章來源地址http://www.zghlxwxcb.cn/news/detail-851702.html
到了這里，關(guān)于Nginx監(jiān)控安裝：Filebeat+ES+Grafana（全）的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！