Promethues是可以單機(jī)搭建的，參考prometheus入門^[1]

本文是就Promethues+Grafana在K8s環(huán)境下的搭建及配置

Prometheus度量指標(biāo)監(jiān)控平臺簡介

• 啟動minikube minikube start

• 安裝helm

使用Helm Chart 安裝 Prometheus Operator:

helm install prometheus-operator stable/prometheus-operator -n monitoring

報錯:

WARNING:?This?chart?is?deprecated
Error:?INSTALLATION?FAILED:?failed?to?install?CRD?crds/crd-alertmanager.yaml:?resource?mapping?not?found?for?name:?"alertmanagers.monitoring.coreos.com"?namespace:?""?from?"":?no?matches?for?kind?"CustomResourceDefinition"?in?version?"apiextensions.k8s.io/v1beta1"
ensure?CRDs?are?installed?first

根據(jù) Kubernetes和微服務(wù)監(jiān)控體系^[2](搜索"降低我們的版本")

降低minikube版本: minikube start --kubernetes-version=v1.20.3

(這步可能會卡著不動等半天，耐心等待即可~)

解決該問題后繼續(xù):

kubectl create ns monitoring

helm install prometheus-operator stable/prometheus-operator -n monitoring

要等一會兒，全部pod才能都啟動起來~

Promethues-Operator基本功能展示

訪問prometheus內(nèi)置瀏覽器

kubectl port-forward -n monitoring prometheus-prometheus-operator-prometheus-0 9090

kubectl port-forward 什么意思？

kubectl port-forward 是一個 Kubernetes 命令，用于將本地端口與 Kubernetes Pod 或 Service 的端口之間建立臨時的網(wǎng)絡(luò)轉(zhuǎn)發(fā)連接。

當(dāng)你在本地開發(fā)環(huán)境中需要直接訪問運(yùn)行在 Kubernetes 集群中的 Pod 或 Service 時，kubectl port-forward 命令可以幫助你在本地主機(jī)和 Kubernetes 集群之間建立一個網(wǎng)絡(luò)通道。

使用 kubectl port-forward 命令時，你需要指定要轉(zhuǎn)發(fā)的資源類型和名稱，并指定本地端口和遠(yuǎn)程端口。例如，以下命令將本地的 8080 端口與名為 "my-pod" 的 Pod 的 80 端口進(jìn)行轉(zhuǎn)發(fā)：

kubectl?port-forward?my-pod?8080:80

這將在本地主機(jī)的 8080 端口上啟動一個轉(zhuǎn)發(fā)服務(wù)，將所有發(fā)送到該端口的請求轉(zhuǎn)發(fā)到運(yùn)行在 "my-pod" Pod 中的 80 端口。你可以使用本地瀏覽器或工具訪問 localhost:8080 來與 Pod 進(jìn)行交互。

類似地，你也可以使用 kubectl port-forward 命令轉(zhuǎn)發(fā)到 Service 的端口。例如：

kubectl?port-forward?service/my-service?8080:80

這將將本地的 8080 端口與名為 "my-service" 的 Service 的 80 端口進(jìn)行轉(zhuǎn)發(fā)。

kubectl port-forward 命令對于在本地開發(fā)和調(diào)試過程中與 Kubernetes 集群中的資源進(jìn)行交互非常有用。它可以方便地將遠(yuǎn)程服務(wù)映射到本地主機(jī)，以便你可以直接訪問和測試它們。

訪問 http://localhost:9090/

prometheus-operator 已經(jīng)幫我們把相關(guān)的監(jiān)控項配置好了

up指標(biāo)

node_load1指標(biāo)

No datapoints found. , issue^[3]

但好像沒干啥就好了..

查詢對promethues web總的成功請求數(shù)

查詢對promethues metrics端點的成功請求率

告警信息

http://localhost:9090/alerts

配置信息Configuration

告警(alert)和聚合(record)規(guī)則Rules

監(jiān)控目標(biāo)Targets

訪問Alertmanger UI

kubectl port-forward -n monitoring alertmanager-prometheus-operator-alertmanager-0 9093

告警信息

狀態(tài)和配置

訪問Grafana UI

http://localhost:3000/

user: admin

pass: prom-operator

Nodes節(jié)點監(jiān)控

在上圖搜索框輸入"node"

K8s/Compute Resources/Cluster監(jiān)控

K8s/Compute Resources/Pod監(jiān)控

定制Alertmanager郵件通知

安裝FakeSMTP

git?clone?https://github.com/Nilhcem/FakeSMTP.git
cd?FakeSMTP

mvn?package

java?-jar?target/fakeSMTP-2.0-SNAPSHOT.jar?-p?2525

現(xiàn)在需要改為 java -jar target/fakeSMTP-2.1-SNAPSHOT.jar -p 2525

點擊 啟動服務(wù)器

Alertmanager缺省配置(Secret)

kubectl get secret -n monitoring alertmanager-prometheus-operator-alertmanager -o go-template='左括號 左括號 index .data "alertmanager.yaml" 右括號 右括號' | base64 --decode (把漢字替換為對應(yīng)符號，不這樣hexo會解析出錯)

該命令用于從 Kubernetes 集群中的指定命名空間（-n monitoring）獲取名為 alertmanager-prometheus-operator-alertmanager 的 Secret 對象，并提取其中名為 alertmanager.yaml 的數(shù)據(jù)字段的值。然后使用 base64 命令對該值進(jìn)行解碼，以便將其轉(zhuǎn)換回原始的 YAML 格式。

換句話說，這個命令的目的是獲取監(jiān)控系統(tǒng)中 Alertmanager 的配置文件，并將其解碼為可讀的 YAML 格式，以便查看其中的配置詳細(xì)信息。

因為這個配置是secret形式存儲的

Opaque類型，所以最后要用 base64 --decode 轉(zhuǎn)為明文

其實可以通過下面的UI直觀查看

Alertmanager缺省配置(UI)

Alertmanager config更新

參考 https://github.com/helm/charts/blob/master/stable/prometheus-operator/values.yaml#L133

• 增加 郵件smtp等配置
• 增加靜默配置(發(fā)送給null)
• 增加抑制配置(inhibit)

inhibit_rules:
??-?source_match:
??????severity:?critical
????target_match:
??????severity:?warning
????equal:?['alertname',?'service']
????target_receivers:
??????-?'null'

更新后的配置在 https://github.com/spring2go/k8s-msa-in-action/blob/master/ch08/07/values_alertmanager.yml

修改ip為本機(jī)地址

更新prometheus-operator release

helm upgrade prometheus-operator stable/prometheus-operator --values=shuang_alertmanager.yml -n monitoring

helm history prometheus-operator -n monitoring

如果有問題，可以看pod日志進(jìn)行排查~

kubectl logs -n monitoring alertmanager-prometheus-operator-alertmanager-0

校驗配置更新成功

打開 http://localhost:9093/#/status， 通過UI校驗看是否修改成功~

啟動FakeSMTP接收告警

此時已經(jīng)收到了郵件

其中 etcd這項告警 message = etcd cluster "kube-etcd": members are down (1).是因為用minikube，etcd節(jié)點本來就不足~

.+Overcommit本來應(yīng)該要收到告警，但通過配置抑制掉了

參考自

Kubernetes和微服務(wù)監(jiān)控體系^[4]

Kubernetes和微服務(wù)監(jiān)控體系^[5]

更多參考:

從零用Helm部署prometheus,并配置釘釘告警^[6]

helm 安裝配置 prom-operator^[7]

參考資料