国产无码综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

<dd id="1r83f"></dd>

<strong id="1r83f"><form id="1r83f"></form></strong>

Kafka：硬件配置選擇和調優(yōu)

2年前作者：程序員無羨分類：Toy博客閱讀(20)違法舉報

這篇具有很好參考價值的文章主要介紹了Kafka：硬件配置選擇和調優(yōu)。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方，請大家不吝賜教，您也可以點擊"舉報違法"按鈕提交疑問。

場景說明

100 萬日活，每人每天 100 條日志，

每天總共的日志條數是 100 萬 * 100 條 = 1 億條（中型公司偏?。?/p>

1 億 / 24 小時 / 60 分 / 60 秒? =? 1150 條/每秒鐘。

每條日志大?。?.5k - 2k（取 1k）（甚至更多根據實際情況）。

1150 條/每秒鐘 * 1k ≈ 1m/s 。

高峰期（中午小高峰下午 8 - 12）：1m/s? *? 20 倍? = 20m/s? ? 最大 40m/s 。

每秒多少數據量：20MB/s。?

服務器臺數選擇?

?服務器臺數 =? 2? ?* （生產者峰值生產速率 * 副本 / 100） +? 1

????????????????????=? 2? ?* （20m/s? *? 2? /? 100） +? 1

? ? ? ? ? ? ? ? ? ? =? 3 臺

建議 3 臺服務器。

磁盤選擇

kafka 底層主要是順序寫，固態(tài)硬盤和機械硬盤的順序寫速度差不多。

建議選擇普通的機械硬盤。

每天總數據量：1 億條 * 1k ≈ 100g

100g * 副本 2 * 保存時間 3 天 / 0.7 ≈ 1T

建議三臺服務器硬盤總大小，大于等于 1T。

內存選擇

Kafka 內存組成：堆內存（Kafka 內部配置）+ 頁緩存（服務器內存）

1）Kafka 堆內存建議每個節(jié)點：10g ~ 15g

在bin目錄下 kafka-server-start.sh 中修改

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
 export KAFKA_HEAP_OPTS="-Xmx10G -Xms10G"
fi

（1）查看 Kafka 進程號2321

jps


2321 Kafka
5255 Jps
1931 QuorumPeerMain

（2）根據 Kafka 進程號，查看 Kafka 的 GC 情況（主要看YGC）

jstat -gc 2321 1s 10


S0C S1C S0U S1U EC EU OC OU MC MU CCSC CCSU YGC YGCT FGC FGCT GCT 
0.0 7168.0 0.0 7168.0 103424.0 60416.0 1986560.0 148433.5 52092.0 46656.1 6780.0 6202.2 13 0.531 0 0.000 0.531
0.0 7168.0 0.0 7168.0 103424.0 60416.0 1986560.0 148433.5 52092.0 46656.1 6780.0 6202.2 13 0.531 0 0.000 0.531
0.0 7168.0 0.0 7168.0 103424.0 60416.0 1986560.0 148433.5 52092.0 46656.1 6780.0 6202.2 13 0.531 0 0.000 0.531
0.0 7168.0 0.0 7168.0 103424.0 60416.0 1986560.0 148433.5 52092.0 46656.1 6780.0 6202.2 13 0.531 0 0.000 0.531
0.0 7168.0 0.0 7168.0 103424.0 60416.0 1986560.0 148433.5 52092.0 46656.1 6780.0 6202.2 13 0.531 0 0.000 0.531
0.0 7168.0 0.0 7168.0 103424.0 61440.0 1986560.0 148433.5 52092.0 46656.1 6780.0 6202.2 13 0.531 0 0.000 0.531
0.0 7168.0 0.0 7168.0 103424.0 61440.0 1986560.0 148433.5 52092.0 46656.1 6780.0 6202.2 13 0.531 0 0.000 0.531
0.0 7168.0 0.0 7168.0 103424.0 61440.0 1986560.0 148433.5 52092.0 46656.1 6780.0 6202.2 13 0.531 0 0.000 0.531
0.0 7168.0 0.0 7168.0 103424.0 61440.0 1986560.0 148433.5 52092.0 46656.1 6780.0 6202.2 13 0.531 0 0.000 0.531
0.0 7168.0 0.0 7168.0 103424.0 61440.0 1986560.0 148433.5 52092.0 46656.1 6780.0 6202.2 13 0.531 0 0.000 0.531

參數說明：

S0C：第一個幸存區(qū)的大??；
S1C：第二個幸存區(qū)的大小
S0U：第一個幸存區(qū)的使用大??；
S1U：第二個幸存區(qū)的使用大小
EC：伊甸園區(qū)的大小；
EU：伊甸園區(qū)的使用大小
OC：老年代大?。?/li>
OU：老年代使用大小
MC：方法區(qū)大??；
MU：方法區(qū)使用大小
CCSC:壓縮類空間大小；
CCSU:壓縮類空間使用大小
YGC：年輕代垃圾回收次數；
YGCT：年輕代垃圾回收消耗時間
FGC：老年代垃圾回收次數；
FGCT：老年代垃圾回收消耗時間
GCT：垃圾回收消耗總時間；

?（3）根據 Kafka 進程號，查看 Kafka 的堆內存

kafka 內存設置,Kafka,kafka,分布式,硬件調優(yōu)

jmap -heap 2321


Attaching to process ID 2321, please wait...
Debugger attached successfully.
Server compiler detected.
JVM version is 25.212-b10

using thread-local object allocation.
Garbage-First (G1) GC with 8 thread(s)

Heap Configuration:

 MinHeapFreeRatio = 40
 MaxHeapFreeRatio = 70
 MaxHeapSize = 2147483648 (2048.0MB)
 NewSize = 1363144 (1.2999954223632812MB)
 MaxNewSize = 1287651328 (1228.0MB)
 OldSize = 5452592 (5.1999969482421875MB)
 NewRatio = 2
 SurvivorRatio = 8
 MetaspaceSize = 21807104 (20.796875MB)
 CompressedClassSpaceSize = 1073741824 (1024.0MB)
 MaxMetaspaceSize = 17592186044415 MB
 G1HeapRegionSize = 1048576 (1.0MB)

Heap Usage:
G1 Heap:
 regions = 2048
 capacity = 2147483648 (2048.0MB)
 used = 246367744 (234.95458984375MB)
 free = 1901115904 (1813.04541015625MB)
 11.472392082214355% used
G1 Young Generation:
Eden Space:
 regions = 83
 capacity = 105906176 (101.0MB)
 used = 87031808 (83.0MB)
 free = 18874368 (18.0MB)
 82.17821782178218% used
Survivor Space:
 regions = 7
 capacity = 7340032 (7.0MB)
 used = 7340032 (7.0MB)
 free = 0 (0.0MB)
 100.0% used
G1 Old Generation:
 regions = 147
 capacity = 2034237440 (1940.0MB)
 used = 151995904 (144.95458984375MB)
 free = 1882241536 (1795.04541015625MB)
 7.471886074420103% used

13364 interned Strings occupying 1449608 bytes.

2）頁緩存：頁緩存是 Linux 系統服務器的內存。我們只需要保證 1 個 segment（1g）中 25%的數據在內存中就好。

????????每個節(jié)點頁緩存大小? = （分區(qū)數? *? 1g? *? 25%） /? 節(jié)點數。例如 10 個分區(qū)，頁緩存大小 =（10 * 1g * 25%）/ 3 ≈ 1g

????????建議服務器內存大于等于 11G。

CPU 選擇

num.io.threads = 8 負責寫磁盤的線程數，整個參數值要占總核數的 50%。

num.replica.fetchers = 1 副本拉取線程數，這個參數占總核數的 50%的 1/3。

num.network.threads = 3 數據傳輸線程數，這個參數占總核數的 50%的 2/3。

建議 32 個 cpu core。

這樣的話留 8 個 cpu core給其他使用比如監(jiān)聽心跳等

剩下 24 個?cpu core

num.io.threads = 12

num.replica.fetchers = 4

num.network.threads = 8

網絡選擇

?網絡帶寬? =? 峰值吞吐量 ≈ 20MB/s 選擇千兆網卡即可。

100Mbps 單位是 bit；10M/s 單位是 byte ; 1byte = 8bit，100Mbps/8 = 12.5M/s。

一般百兆的網卡（100Mbps ）、千兆的網卡（1000Mbps）、萬兆的網卡（10000Mbps）。文章來源地址http://www.zghlxwxcb.cn/news/detail-669189.html

到了這里，關于Kafka：硬件配置選擇和調優(yōu)的文章就介紹完了。如果您還想了解更多內容，請在右上角搜索TOY模板網以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網！

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。如若轉載，請注明出處：如若內容造成侵權/違法違規(guī)/事實不符，請點擊違法舉報進行投訴反饋，一經查實，立即刪除！

分享到：

領支付寶紅包贊助服務器費用

kafka安裝配置(包含內外網設置)
這里使用的kafka安裝包:kafka_2.13-3.4.0.tgz kafka版本2.2+的版本，已經不需要依賴zookeeper來查看、創(chuàng)建topic，新版本使用--bootstrap-server替換老版本的--zookeeper-server。? 配置完內網可以正常得去消費或者添加kfka數據如果配置了advertised.listeners就無法正常訪問消費因為我的外網通訊雖然
2024年02月06日
瀏覽(16)
【消息中間件MQ系列】Spring整合kafka并設置多套kafka配置
? ? ? ? 圣誕節(jié)的到來，程序員不會收到圣誕老人的??，但可以自己滿足一下自己，所以，趁著有時間，就記錄一下這會兒擼了些什么代碼吧?。?！ ????????因為業(yè)務原因，需要在系統內新增其他的kakfa配置使用，所以今天研究的是怎么在系統內整合多套kafka配置使用。
2024年02月01日
瀏覽(18)
【Kafka系列 04】Kafka 性能調優(yōu)，怎么做？
通常來說，調優(yōu)是為了滿足系統常見的非功能性需求。在眾多的非功能性需求中，性能絕對是我們最關心的那一個。不同的系統對性能有不同的訴求，比如對于數據庫用戶而言，性能意味著請求的響應時間，用戶總是希望查詢或更新請求能夠被更快地處理完并返回。對 Kafk
2024年03月13日
瀏覽(22)
【Kafka-3.x-教程】-【七】Kafka 生產調優(yōu)、Kafka 壓力測試
【Kafka-3.x-教程】專欄：【Kafka-3.x-教程】-【一】Kafka 概述、Kafka 快速入門【Kafka-3.x-教程】-【二】Kafka-生產者-Producer 【Kafka-3.x-教程】-【三】Kafka-Broker、Kafka-Kraft 【Kafka-3.x-教程】-【四】Kafka-消費者-Consumer 【Kafka-3.x-教程】-【五】Kafka-監(jiān)控-Eagle 【Kafka-3.x-教程】-【六】Kafka 外
2024年01月25日
瀏覽(17)
【JVM的相關參數和調優(yōu)】
這類此參數在jdk的各個版本之間很少會變化，基本不改變 java -version，查看當前電腦上的jdk的版本信息 java -help，查看java命令的各種選項和參數 java -showversion，相當于上述兩者結合 4. jps，查看后臺運行的 java 進程 Test 的進程 id 為 29636 5. jinfo，通過進程 id 查看正在運行的 jav
2024年01月17日
瀏覽(37)
聊聊kafka client性能調優(yōu)及kafka最佳實踐
這里是 weihubeats ,覺得文章不錯可以關注公眾號小奏技術，文章首發(fā)。拒絕營銷號，拒絕標題黨最近在使用 kafka 的時候遇到了一些性能問題。所以就打算研究下 kafka 相關的性能優(yōu)化方案。 client 主要分兩個 producer consumer producer 主要是有兩個核心參數 batch.size linger.ms batch.s
2024年02月03日
瀏覽(19)
Kafka生產調優(yōu)&源碼
100 萬日活，每人每天 100 條日志，每天總共的日志條數是 100 萬 * 100 條 = 1 億條。 1 億/24 小時/60 分/60 秒 = 1150 條/每秒鐘。每條日志大?。?.5k - 2k（取 1k）。 1150 條/每秒鐘 * 1k ≈ 1m/s 。高峰期每秒鐘：1150 條 * 20 倍 = 23000 條。每秒多少數據量：20MB/s。服務器臺數= 2 * （生產
2024年02月11日
瀏覽(19)
Kafka集群調優(yōu)+能力探底
我們需要對4個規(guī)格的kafka能力進行探底，即其可以承載的最大吞吐；4個規(guī)格對應的單節(jié)點的配置如下：標準版： 2C4G 鉑金版： 4C8G 專業(yè)版： 8C16G 企業(yè)版： 16C32G 另外，一般來講，在同配置下，kafka的讀性能是要優(yōu)于寫性能的，寫操作時，數據要從網卡拷貝至堆內存，然后進行
2024年02月05日
瀏覽(16)
kafka基本架構以及參數調優(yōu)
Kafka是LinkedIn公司使用Scala語言開發(fā)，后來捐獻給apache的項目。官網地址是http://kafka.apache.org。是常用的以高吞吐、可持久化、可水平擴展、支持流處理的分布式消息系統。簡單架構圖：生產端：邏輯層生產者將消息發(fā)到指定的topic中，物理層，生產者先找到相應的集群和對應
2024年02月08日
瀏覽(13)
flink雙流ioin的大狀態(tài)如何解決和調優(yōu)
Flink 中的雙流 ioin 操作（雙流連接）通常涉及大狀態(tài)的處理，這可能導致一些性能和狀態(tài)管理的挑戰(zhàn)。以下是解決和調優(yōu) Flink 中雙流 ioin 大狀態(tài)的一些建議：解決方案：增大任務管理器的堆內存：對于處理大狀態(tài)的任務，增加 Flink 任務管理器的堆內存可以提供更多的內存
2024年01月22日
瀏覽(33)