Filebeat簡(jiǎn)介

Filebeat 是使用 Golang 實(shí)現(xiàn)的輕量型日志采集器，也是 Elasticsearch stack 里面的一員。

Filebeat本質(zhì)上是一個(gè) agent ，可以安裝在各個(gè)節(jié)點(diǎn)上，根據(jù)配置讀取對(duì)應(yīng)位置的日志，并上報(bào)到相應(yīng)的日志管理平臺(tái)上去

前言

平時(shí)接到將某一服務(wù)的日志接入到日志管理平臺(tái)的需求

通常的做法都是：

• 在目標(biāo)主機(jī)（即需要將日志接入到管理平臺(tái)的服務(wù)器）上手動(dòng)下載 filebeat 壓縮包
• 將壓縮包上傳到目標(biāo)主機(jī)
• 解壓縮
• 執(zhí)行安裝腳本

這個(gè)過(guò)程不但需要人工操作，還比較耗時(shí)

如果目標(biāo)主機(jī)后期有其他服務(wù)需要接入日志管理平臺(tái)，還得手動(dòng)修改配置文件

這個(gè)過(guò)程會(huì)有配置字段寫(xiě)錯(cuò)或者格式錯(cuò)誤的風(fēng)險(xiǎn)

于是我打算寫(xiě)一個(gè)自動(dòng)部署腳本

結(jié)合自動(dòng)化運(yùn)維工具——saltstack

以此來(lái)實(shí)現(xiàn)首次安裝 filebeat 以及后續(xù)新增配置字段的自動(dòng)化

首先在 salt-master 的家目錄（一般是 /home/salt）創(chuàng)建一個(gè) filebeat 目錄，用來(lái)存放部署腳本以及配置文件模板

mkdir /home/salt/filebeat

• append.sh：如果后面有新增服務(wù)需要接入日志，且目標(biāo)主機(jī)已經(jīng)安裝filebeat，此腳本可以將新的配置字段寫(xiě)進(jìn)配置文件里（需要下發(fā)給minio）
• filebeat-7.1.1-linux-x86_64.tar.gz：filebeat安裝包（需要下發(fā)給minio）
• filebeat.yml：配置文件模板（需要下發(fā)給minio）
• install.sls：部署腳本；里面有兩個(gè)邏輯：1、首次安裝；2、后續(xù)新增配置字段

完整腳本如下：

{% set PACKAGE = 'filebeat-7.1.1-linux-x86_64' %}
{% set SERVICE_NAME = 'nginx' %}
{% set LOG_PATH = '/var/log/nginx/access.log' %}
{% set NEW_SERVICE_NAME = 'keepalived' %}
{% set NEW_LOG_PATH = '/var/log/keepalived.log' %}


filebeat_source:
  file.managed:
    - name: /tmp/{{PACKAGE}}.tar.gz
    - source: salt://filebeat/{{PACKAGE}}.tar.gz
    - onlyif:
      - cmd: rpm -qi filebeat && exit 127

filebeat_extract:
  cmd.run:
    - cwd: /tmp
    - names:
      - tar zxf {{PACKAGE}}.tar.gz
    - require:
      - file: filebeat_source
    - unless:
      - test -d /tmp/{{PACKAGE}}
      
filebeat_install:
  cmd.run:
    - cwd: /tmp/{{PACKAGE}}
    - names: 
      - /bin/bash install.sh
    - require:
      - cmd: filebeat_extract
    - unless:
      - test -d /etc/filebeat
      
copy_yml:
  cmd.run:
    - cwd: /etc/filebeat
    - names: 
      - mv filebeat.yml filebeat.yml.bak
    - require:
      - cmd: filebeat_install
    - unless:
      - test -e /etc/filebeat/filebeat.yml.bak
      
filebeat_yml:
  file.managed:
    - name: /etc/filebeat/filebeat.yml
    - source: salt://filebeat/filebeat.yml
    - require:
      - cmd: copy_yml
    - template: jinja
    - defaults:
      server_name: {{ SERVICE_NAME }}
      log_path: {{ LOG_PATH }} 
    - unless:
      - test -e /etc/filebeat/filebeat.yml

filebeat_start:
  cmd.run:
    - name: systemctl start filebeat
    - require:
      - file: filebeat_yml
    - unless:
      - systemctl status filebeat
       
script_source:
  file.managed:
    - name: /etc/filebeat/append.sh
    - source: salt://filebeat/append.sh
    - onlyif:
      - cmd: rpm -qi filebeat
    - unless:
      - test -e /etc/filebeat/append.sh
      
yml_append:
  cmd.run:
    - cwd: /etc/filebeat
    - names:
      - /bin/bash append.sh {{NEW_SERVICE_NAME}} {{NEW_LOG_PATH}}
    - require:
      - file: script_source

filebeat_restart:
  cmd.run:
    - name: systemctl restart filebeat
    - require:
      - cmd: yml_append

我們分別來(lái)看一下

腳本實(shí)現(xiàn)

append.sh

append.sh

我們先來(lái)看一下append.sh

append.sh腳本實(shí)現(xiàn)的功能就是判斷新增的服務(wù)在配置文件里面是否存在，如果不存在的話就添加到配置文件里去，如果存在則不做任何操作

首先對(duì)傳進(jìn)來(lái)的第一個(gè)參數(shù)——新增的服務(wù)標(biāo)識(shí)進(jìn)行 grep 過(guò)濾，來(lái)看一下當(dāng)前配置文件里面是否有要新增的字段

$?表示執(zhí)行g(shù)rep $1 filebeat.yml返回的狀態(tài)碼，如果返回0則表示字段存在，返回非0表示字段不存在

grep $1 filebeat.yml

接著是一個(gè)條件判斷：

1、如果配置文件里沒(méi)有該服務(wù)標(biāo)識(shí)（代表是新增的，狀態(tài)碼返回0），則使用 sed 將內(nèi)容寫(xiě)入配置文件里面

（ $1表示傳入shell腳本的第一個(gè)參數(shù)——服務(wù)標(biāo)識(shí)，$2表示傳入shell腳本的第一個(gè)參數(shù)——服務(wù)對(duì)應(yīng)的完整日志路徑）

2、如果配置文件里有該服務(wù)標(biāo)識(shí)（代表是以前就有的，狀態(tài)碼返回非0），則輸出提示語(yǔ)

#!/bin/bash
grep $1 filebeat.yml
if [ $? -eq 0 ]
then
echo "service is alreadty exist!"
else
sed -i '/filebeat.inputs:/a\
- type: log\
  enabled: true\
  encoding: utf-8\
  tail_files: false\
  paths:\
    - '${2}'\
  fields:\
    log_topic: '${1}'\

' filebeat.yml
fi

install.sls

install.sls里面有兩個(gè)功能邏輯：首次安裝部署和后續(xù)新增配置

1、首次部署filebeat并修改filebeat配置文件，將需要監(jiān)控的服務(wù)配置字段添加進(jìn)去

2、后續(xù)有新增服務(wù)需要接入日志，則將服務(wù)標(biāo)識(shí)和對(duì)應(yīng)日志路徑添加到filebeat配置文件里

腳本開(kāi)頭定義了五個(gè)變量，方便我們后續(xù)維護(hù)

{% set PACKAGE = 'filebeat-7.1.1-linux-x86_64' %}
{% set SERVICE_NAME = 'nginx' %}
{% set LOG_PATH = '/var/log/nginx/access.log' %}
{% set NEW_SERVICE_NAME = 'keepalived' %}
{% set NEW_LOG_PATH = '/var/log/keepalived.log' %}

首次安裝：

• PACKAGE：filebeat安裝包
• SERVICE_NAME：服務(wù)標(biāo)識(shí)
• LOG_PATH：服務(wù)對(duì)應(yīng)日志

后續(xù)新增：

• NEW_SERVICE_NAME：新增的服務(wù)標(biāo)識(shí)
• NEW_LOG_PATH：新增的服務(wù)對(duì)應(yīng)日志

在腳本開(kāi)始執(zhí)行之前，會(huì)對(duì)目標(biāo)主機(jī)做一個(gè)判斷，判斷是否已經(jīng)安裝了filebeat，如果已經(jīng)安裝了則不走首次安裝的邏輯，走后續(xù)新增的邏輯

如果沒(méi)有安裝則走首次安裝的邏輯

如果目標(biāo)主機(jī)已經(jīng)安裝了filebeat但不需要新增服務(wù)接入日志，但是還是走了一遍后續(xù)新增的邏輯，這是不影響的，因?yàn)樵赼ppend.sh里面會(huì)有一個(gè)判斷

執(zhí)行首次安裝部署邏輯

filebeat_source:
  file.managed:
    - name: /tmp/{{PACKAGE}}.tar.gz
    - source: salt://filebeat/{{PACKAGE}}.tar.gz
    - onlyif:
      - cmd: rpm -qi filebeat && exit 127

PS：注意這里

 - onlyif:
      - cmd: rpm -qi filebeat && exit 127

這段字段邏輯是在目標(biāo)主機(jī)執(zhí)行rpm -qi filebeat語(yǔ)句，檢查是否已經(jīng)安裝過(guò)filebeat，如果沒(méi)有安裝則返回一個(gè)非0的狀態(tài)碼（這里我設(shè)成返回127）

然后onlyif字段是指返回非0就執(zhí)行filebeat_source:對(duì)應(yīng)的內(nèi)容，返回0就不執(zhí)行

又因?yàn)橄旅娴恼Z(yǔ)句是依賴于filebeat_source的，所以如果目標(biāo)主機(jī)安裝了filebeat，就不會(huì)執(zhí)行filebeat_source語(yǔ)句，也不會(huì)執(zhí)行后面所依賴的語(yǔ)句

完整腳本如下：

filebeat_source:
  file.managed:
    - name: /tmp/{{PACKAGE}}.tar.gz
    - source: salt://filebeat/{{PACKAGE}}.tar.gz
    - onlyif:
      - cmd: rpm -qi filebeat && exit 127

filebeat_extract:
  cmd.run:
    - cwd: /tmp
    - names:
      - tar zxf {{PACKAGE}}.tar.gz
    - require:
      - file: filebeat_source
    - unless:
      - test -d /tmp/{{PACKAGE}}

filebeat_install:
  cmd.run:
    - cwd: /tmp/{{PACKAGE}}
    - names: 
      - /bin/bash install.sh
    - require:
      - cmd: filebeat_extract
    - unless:
      - test -d /etc/filebeat

copy_yml:
  cmd.run:
    - cwd: /etc/filebeat
    - names: 
      - mv filebeat.yml filebeat.yml.bak
    - require:
      - cmd: filebeat_install
    - unless:
      - test -e /etc/filebeat/filebeat.yml.bak

filebeat_yml:
  file.managed:
    - name: /etc/filebeat/filebeat.yml
    - source: salt://filebeat/filebeat.yml
    - require:
      - cmd: copy_yml
    - template: jinja
    - defaults:
      server_name: {{ SERVICE_NAME }}
      log_path: {{ LOG_PATH }} 
    - unless:
      - test -e /etc/filebeat/filebeat.yml

filebeat_start:
  cmd.run:
    - name: systemctl start filebeat
    - require:
      - file: filebeat_yml
    - unless:
      - systemctl status filebeat

執(zhí)行后續(xù)新增邏輯

我們來(lái)看下后續(xù)新增腳本的邏輯

script_source:
  file.managed:
    - name: /etc/filebeat/append.sh
    - source: salt://filebeat/append.sh
    - onlyif:
      - cmd: rpm -qi filebeat
    - unless:
      - test -e /etc/filebeat/append.sh

開(kāi)始執(zhí)行之前會(huì)先在目標(biāo)主機(jī)上執(zhí)行rpm -qi filebeat語(yǔ)句，如果存在返回0，就會(huì)執(zhí)行后面的語(yǔ)句

完整腳本如下:文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-400231.html

script_source:
  file.managed:
    - name: /etc/filebeat/append.sh
    - source: salt://filebeat/append.sh
    - onlyif:
      - cmd: rpm -qi filebeat
    - unless:
      - test -e /etc/filebeat/append.sh
      
yml_append:
  cmd.run:
    - cwd: /etc/filebeat
    - names:
      - /bin/bash append.sh {{NEW_SERVICE_NAME}} {{NEW_LOG_PATH}}
    - require:
      - file: script_source

filebeat_restart:
  cmd.run:
    - name: systemctl restart filebeat
    - require:
      - cmd: yml_append

到了這里，關(guān)于Filebeat 自動(dòng)安裝部署&一鍵配置實(shí)現(xiàn)的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！