目錄
前言
一、Crane目的是什么？
二、Crane有哪些功能？
1.成本可視化和優(yōu)化評(píng)估
?2.推薦框架
?3.基于預(yù)測(cè)的水平彈性器
4.負(fù)載感知的調(diào)度器
5.拓?fù)涓兄恼{(diào)度器
6.基于 QOS 的混部
三.Crane的整體架構(gòu)及特性
1.Crane架構(gòu)
Craned
Fadvisor
Metric Adapter
Crane Agent
2.Crane特性
一鍵部署
簡(jiǎn)單易用可視化控制臺(tái)
開(kāi)箱即用的巡檢能力
穩(wěn)定性與資源優(yōu)化的雙重兼
四、Crane部署
?訪問(wèn) Crane Dashboard
?成本展示
?優(yōu)化你的應(yīng)用配置
五、總結(jié)
前言
最近報(bào)名參加了騰訊大型開(kāi)源項(xiàng)目Finops Crane的集訓(xùn)營(yíng)，深入了解并實(shí)踐運(yùn)用了關(guān)于Crane的一系列功能。云計(jì)算以及云平臺(tái)是未來(lái)服務(wù)部署的主流趨勢(shì)，可以在成本條件限制下極大節(jié)省運(yùn)行部署成本。因此關(guān)于云計(jì)算平臺(tái)的一系列計(jì)算我都十分感興趣，而Crane能夠在云原生發(fā)展火熱的狀態(tài)下作為大型開(kāi)源項(xiàng)目，提供學(xué)習(xí)渠道以及實(shí)踐，是一件十分有意義的事情。本篇文章將帶大家了解Crane以及了解Crane能夠幫助我們?cè)谀男I(yè)務(wù)場(chǎng)景下解決困難，以及我們?cè)撊绾问褂肅rane和部署服務(wù)。
一、Crane目的是什么？
Finops Crane的發(fā)布并不算早，很多開(kāi)發(fā)者對(duì)于Finops Crane的了解少之甚少，但是對(duì)于現(xiàn)今比較火熱的云原生了解頗多，比如Kubernetes、Prometheus等。我們知道，? Kubernetes是Google公司在2014年6月開(kāi)源的一個(gè)容器集群管理系統(tǒng)，Kubernetes的目標(biāo)是讓部署容器化的應(yīng)用簡(jiǎn)單并且高效。既然能夠?qū)崿F(xiàn)高效快捷的功能，無(wú)疑Kubernetes是一個(gè)復(fù)雜的平臺(tái)，它需要多個(gè)部分組合才能工作。但是與其他復(fù)雜平臺(tái)相比，Kubernetes在將其各個(gè)部分集成到一個(gè)易于管理的整體方面這點(diǎn)是有缺陷的。而且絕大多數(shù)的用戶Kubernetes集群資源利用率并不高，浪費(fèi)嚴(yán)重。作為開(kāi)發(fā)人員，使用云原生的計(jì)算就是想要利用其強(qiáng)大的調(diào)度和彈性解決資源浪費(fèi)問(wèn)題，但是當(dāng)我們接觸到云原生業(yè)務(wù)資源分配的時(shí)候，發(fā)現(xiàn)還是使用傳統(tǒng)的壓測(cè)手工來(lái)制定策略。
通俗的來(lái)講，我們現(xiàn)在就要解決一個(gè)優(yōu)化問(wèn)題：如何提升平臺(tái)資源利用率的 KPI？
當(dāng)然提出該問(wèn)題的開(kāi)發(fā)人員也并不是只有我，其他大?？隙ㄒ灿邢氲竭@個(gè)問(wèn)題。解決方案已經(jīng)有了以下幾條：
- Kubernetes自動(dòng)擴(kuò)容能力
- Serverless 技術(shù)
- Autopilot
但是經(jīng)過(guò)技術(shù)調(diào)研發(fā)現(xiàn)真正使用了HPA，從負(fù)載上升觸發(fā)閾值，到彈性控制器開(kāi)始擴(kuò)容，到應(yīng)用啟動(dòng)完成，可能有數(shù)分鐘甚至數(shù)十分鐘的滯后，在彈性起作用之前，應(yīng)用已經(jīng)被壓垮。
Serverless 技術(shù)僅僅為概念，缺少服務(wù)器基礎(chǔ)限制，底層自主可控和性能優(yōu)化能力完全喪失。
谷歌 Autopilot 集群為首的資源托管類集群是需要付費(fèi)的。
技術(shù)調(diào)研到這塊我們似乎已經(jīng)無(wú)從下手，只能從源碼開(kāi)始解析重構(gòu)一個(gè)監(jiān)管分析平臺(tái)嗎？這顯然將耗費(fèi)大量的時(shí)間和人力。那么其實(shí)講到這里，Crane項(xiàng)目的誕生就已經(jīng)呼之欲出了。沒(méi)錯(cuò)，Crane 就是一個(gè)基于 FinOps 的云資源分析與成本優(yōu)化平臺(tái)。它的愿景是在保證客戶應(yīng)用運(yùn)行質(zhì)量的前提下實(shí)現(xiàn)極致的降本。既然有相應(yīng)的開(kāi)發(fā)目的，那么我們就已經(jīng)了解Crane將來(lái)需要干什么事。
二、Crane有哪些功能？
我們現(xiàn)在知道了Crane要解決的業(yè)務(wù)場(chǎng)景難題，那么Crane又有哪些功能呢？首先我們要了解FinOps 標(biāo)準(zhǔn)。
?對(duì)于 FinOps 的重要性，谷歌將其總結(jié)為以下5個(gè)方面：
- 減速商業(yè)價(jià)值的實(shí)現(xiàn)及業(yè)務(wù)翻新
- 推動(dòng)財(cái)務(wù)問(wèn)責(zé)制和可見(jiàn)性
- 優(yōu)化云的應(yīng)用和老本效率
- 為跨組織的信賴及合作賦能
- 避免云計(jì)算收入的失控
那么根據(jù)FinOps的標(biāo)準(zhǔn)，Crane提供了對(duì)應(yīng)以下功能：
1.成本可視化和優(yōu)化評(píng)估
- 提供一組 Exporter 計(jì)算集群云資源的計(jì)費(fèi)和賬單數(shù)據(jù)并存儲(chǔ)到你的監(jiān)控系統(tǒng)，比如 Prometheus。
- 多維度的成本洞察，優(yōu)化評(píng)估。通過(guò)
Cloud Provider支持多云計(jì)費(fèi)。
- 當(dāng)月總成本：過(guò)去一個(gè)月集群總成本。從安裝Crane時(shí)間開(kāi)始，按小時(shí)累加集群成本
- 預(yù)估每月成本：以最近一小時(shí)成本估算未來(lái)一個(gè)月的成本。每小時(shí)成本 * 24 * 30
- 預(yù)估CPU總成本：以最近一小時(shí)CPU成本估算未來(lái)一個(gè)月的CPU成本。每小時(shí)CPU成本 * 24 * 30
- 預(yù)估Memory總成本：以最近一小時(shí)Memory成本估算未來(lái)一個(gè)月的Memory成本。每小時(shí)Memory成本 * 24 * 30
?2.推薦框架
Crane提供了一個(gè)可擴(kuò)展的推薦框架以支持多種云資源的分析，內(nèi)置了多種推薦器：資源推薦，副本推薦，HPA 推薦，閑置資源推薦。
?3.基于預(yù)測(cè)的水平彈性器
EffectiveHorizontalPodAutoscaler 支持了預(yù)測(cè)驅(qū)動(dòng)的彈性。它基于社區(qū) HPA 做底層的彈性控制，支持更豐富的彈性觸發(fā)策略（預(yù)測(cè)，觀測(cè)，周期），讓彈性更加高效，并保障了服務(wù)的質(zhì)量。
4.負(fù)載感知的調(diào)度器
Crane的動(dòng)態(tài)調(diào)度器根據(jù)實(shí)際的節(jié)點(diǎn)利用率構(gòu)建了一個(gè)簡(jiǎn)單但高效的模型，并過(guò)濾掉那些負(fù)載高的節(jié)點(diǎn)來(lái)平衡集群。
5.拓?fù)涓兄恼{(diào)度器
Crane Scheduler與Crane Agent配合工作，支持更為精細(xì)化的資源拓?fù)涓兄{(diào)度和多種綁核策略，可解決復(fù)雜場(chǎng)景下“吵鬧的鄰居問(wèn)題"，使得資源得到更合理高效的利用。
6.基于 QOS 的混部
QOS相關(guān)能力保證了運(yùn)行在 Kubernetes 上的 Pod 的穩(wěn)定性。具有多維指標(biāo)條件下的干擾檢測(cè)和主動(dòng)回避能力，支持精確操作和自定義指標(biāo)接入；具有預(yù)測(cè)算法增強(qiáng)的彈性資源超賣能力，復(fù)用和限制集群內(nèi)的空閑資源；具備增強(qiáng)的旁路cpuset管理能力，在綁核的同時(shí)提升資源利用效率。
?
三.Crane的整體架構(gòu)及特性
在我們了解了Crane能夠做哪些事情之后，深入理解Crane的功能實(shí)現(xiàn)還需要了解Crane項(xiàng)目的整體架構(gòu)，了解Crane運(yùn)作的機(jī)制，對(duì)于以后我們想要修改或者是提取部分功能有很大的作用。
1.Crane架構(gòu)
Craned
Craned 是 Crane 的最核心組件，它管理了 CRDs 的生命周期以及API。Craned 通過(guò) Deployment 方式部署且由兩個(gè)容器組成。
Fadvisor
Fadvisor 提供一組 Exporter 計(jì)算集群云資源的計(jì)費(fèi)和賬單數(shù)據(jù)并存儲(chǔ)到你的監(jiān)控系統(tǒng)，比如 Prometheus。
Metric Adapter
Metric Adapter 實(shí)現(xiàn)了一個(gè) Custom Metric Apiserver. Metric Adapter 讀取 CRDs 信息并提供基于 Custom/External Metric API 的 HPA Metric 的數(shù)據(jù)。
Crane Agent
Crane Agent 通過(guò) DaemonSet 部署在集群的節(jié)點(diǎn)上。
2.Crane特性
Crane 致力于推薦資源和智能彈性配置，業(yè)務(wù)人員無(wú)需再為業(yè)務(wù)需要多少資源，自動(dòng)擴(kuò)縮容應(yīng)該如何配置等問(wèn)題而煩惱，Crane 會(huì)基于業(yè)務(wù)的時(shí)序變動(dòng)數(shù)據(jù)給出最優(yōu)解。
一鍵部署
Crane 保持平臺(tái)獨(dú)立，通過(guò)一個(gè) Helm 包將 Crane 安裝至任意 Kubernetes 集群，無(wú)論云上還是云下，即可享受一站式資源優(yōu)化能力。Crane 侵入性小，核心組件包括集中控制器 craned 和節(jié)點(diǎn)代理 crane agent，你可以自由組合安裝，通過(guò) featureGate 選擇開(kāi)啟哪些能力。
?
簡(jiǎn)單易用可視化控制臺(tái)
為降低使用門(mén)檻，Crane 提供內(nèi)置控制臺(tái)，用戶可基于控制臺(tái)查看成本分配，成本走勢(shì)，并通過(guò)鼠標(biāo)點(diǎn)擊實(shí)現(xiàn)成本優(yōu)化。所有能力均提供灰度控制和預(yù)覽模式，以及回滾的能力，以消除業(yè)務(wù)側(cè)對(duì)資源變動(dòng)的顧慮。
開(kāi)箱即用的巡檢能力
Crane 可以全局掃描整體浪費(fèi)情況，將隱藏浪費(fèi)可視化的呈現(xiàn)出來(lái)，使運(yùn)維人員免除拉取監(jiān)控?cái)?shù)據(jù)，編寫(xiě)查詢腳本等重復(fù)性工作。
優(yōu)化方案包含對(duì)成本變化的展示，對(duì)利用率變化的展示，可能的風(fēng)險(xiǎn)點(diǎn)，甚至是優(yōu)化建議的排序。因?yàn)槲覀兿嘈?，每個(gè)業(yè)務(wù)都是獨(dú)一無(wú)二的，都有其最適合的優(yōu)化方案，不能一概而論。
?
穩(wěn)定性與資源優(yōu)化的雙重兼
Crane 對(duì)資源利用率的提升，絕不是以犧牲穩(wěn)定性作為代價(jià)。Crane 允許用戶對(duì)業(yè)務(wù)進(jìn)行定級(jí)，節(jié)點(diǎn)代理負(fù)責(zé)周期性檢查節(jié)點(diǎn)資源水位和系統(tǒng)指標(biāo)，識(shí)別應(yīng)用干擾，并通過(guò)調(diào)度禁止，調(diào)整 cgroup，驅(qū)逐等多種手段確保敏感業(yè)務(wù)服務(wù)等級(jí)不受損。
四、Crane部署
了解到了Crane的各種功能以及特性，那么部署Crane是否會(huì)很麻煩呢，這點(diǎn)我動(dòng)手嘗試過(guò)，是比較簡(jiǎn)單部署的。首先我們需要安裝Crane一系列的依賴：
- kubectl：安裝工具 | Kubernetes
- Helm：Helm | 安裝Helm
- kind：kind – Quick Start
- Docker：Get Docker | Docker Documentation
有curl工具的可通過(guò)指令下載：
curl -sf https://raw.githubusercontent.com/gocrane/crane/main/hack/local-env-setup.sh | sh -?或者直接前往github上面clone下來(lái)：GitHub - gocrane/crane: Crane is a FinOps Platform for Cloud Resource Analytics and Economics in Kubernetes clusters. The goal is not only to help users to manage cloud cost easier but also ensure the quality of applications.
之后運(yùn)行檢測(cè)pod是否啟動(dòng)：
export KUBECONFIG=${HOME}/.kube/config_cranekubectl get deploy -n crane-systemNAME READY STATUS RESTARTS AGE
crane-agent-5r9l2 1/1 Running 0 4m40s
craned-6dcc5c569f-vnfsf 2/2 Running 0 4m41s
fadvisor-5b685f4cd6-xpxzq 1/1 Running 0 4m37s
grafana-64656f6d54-6l24j 1/1 Running 0 4m46s
metric-adapter-967c6d57f-swhfv 1/1 Running 0 4m41s
prometheus-kube-state-metrics-7f9d78cffc-p8l7c 1/1 Running 0 4m46s
prometheus-node-exporter-4wk8b 1/1 Running 0 4m40s
prometheus-server-fb944f4b7-4qqlv 2/2 Running 0 4m46s?Pod 的啟動(dòng)需要一定的時(shí)間等幾分鐘后輸入命令查看后集群狀態(tài)是否都 Running
kubectl get pod -n crane-system?訪問(wèn) Crane Dashboard
kubectl -n crane-system port-forward service/craned 9090:9090?添加本地集群:
?成本展示
Crane Dashboard 提供了各式各樣的圖表展示了集群的成本和資源用量，
集群總覽
?成本洞察->集群總覽
?成本洞察->集群總覽
更多的成本分析圖表可以通過(guò)登陸 Grafana 的頁(yè)面或者分析源碼研究。
?優(yōu)化你的應(yīng)用配置
在 dashboard 中開(kāi)箱后就可以看到相關(guān)的成本數(shù)據(jù)，是因?yàn)樵谔砑蛹旱臅r(shí)候我們安裝了推薦的規(guī)則。
推薦框架會(huì)自動(dòng)分析集群的各種資源的運(yùn)行情況并給出優(yōu)化建議。Crane 的推薦模塊會(huì)定期檢測(cè)發(fā)現(xiàn)集群資源配置的問(wèn)題，并給出優(yōu)化建議。智能推薦提供了多種 Recommender 來(lái)實(shí)現(xiàn)面向不同資源的優(yōu)化推薦。
在成本分析>推薦規(guī)則頁(yè)面可以看到我們安裝的兩個(gè)推薦規(guī)則。
在 dashboard 的資源推薦頁(yè)面也能查看到優(yōu)化建議列表。
?
?通過(guò)查看監(jiān)控查看詳細(xì)的監(jiān)控?cái)?shù)據(jù)。
?
?在頁(yè)面中可以看到當(dāng)前資源(容器/CPU/Memory)與推薦的資源數(shù)據(jù)，點(diǎn)擊采納建議即可獲取優(yōu)化的執(zhí)行命令。
?
?總而言之，Crane是一個(gè)超強(qiáng)大云資源分析與成本優(yōu)化平臺(tái)。
五、總結(jié)
總體體驗(yàn)下來(lái)，Crane無(wú)愧之為開(kāi)源的超強(qiáng)大云資源分析與成本優(yōu)化平臺(tái)，無(wú)疑是解決集群資源利用率問(wèn)題的高效解決方案。而且Crane部署簡(jiǎn)便，無(wú)需很繁瑣的部署過(guò)程，且有著強(qiáng)大的云資源監(jiān)控能力，能夠自動(dòng)化資源調(diào)度和分配，且能夠智能幫助用戶優(yōu)化資源使用和降低成本。
尤其是配備許多可視化顯示大屏，很夠作為二次開(kāi)發(fā)嵌套到其他大屏展示網(wǎng)頁(yè)上。能夠很直觀的幫助開(kāi)發(fā)運(yùn)維人員找到閑置資源。文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-454709.html
以下是個(gè)人的一些優(yōu)化建議：文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-454709.html
- 更加自由的可拓展性，一些可自定義的API集成到Dashboard中，可加入大數(shù)據(jù)監(jiān)控以及數(shù)據(jù)流監(jiān)控等。
- 完善開(kāi)源Crane社區(qū)用戶交流平臺(tái)，使得更多開(kāi)發(fā)者能夠接觸到Crane項(xiàng)目并且提出更多建設(shè)性的建議。
到了這里，關(guān)于【騰訊云 Finops Crane集訓(xùn)營(yíng)】Finops Crane究竟能為我們帶來(lái)什么價(jià)值和思考？深入探究Crane的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
