国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

「從ES到CK 02」Clickhouse的基礎知識掃盲

這篇具有很好參考價值的文章主要介紹了「從ES到CK 02」Clickhouse的基礎知識掃盲。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點擊"舉報違法"按鈕提交疑問。

導航

????????在完成將公司日志數(shù)據(jù)從Elasticsearch(下稱ES)轉戰(zhàn)到Clickhouse后,個人認為有必要將過程記錄分享。限于篇幅及便于分類組織,我會以一個系列文章的形式記錄:

  • 01 《Elasticsearch vs Clickhouse》
  • 02 《Clickhouse的基礎知識掃盲》
  • 03 《?Clickhouse多分片多副本集群部署?》
  • 04 《??Clickhouse表引擎選擇和表結構設計?》
  • 05 《?clickhouse高效數(shù)據(jù)處理工具vector?》
  • 06 《?????????clickhouse的數(shù)據(jù)可視化工具clickvisual?》
  • 07?《kibana自定義插件跳轉clickvisual》
  • 08 《妙用clickvisual api實現(xiàn)用戶自動管理》(敬請期待)

通過接口機寫入數(shù)據(jù)到ck分布式表,日志解決方案,elasticsearch,clickhouse

一、CLickhouse 是什么

????????ClickHouse是俄羅斯Yandex公司于2016年開發(fā),是一個用于OLAP的列式數(shù)據(jù)庫管理系統(tǒng)(DBMS)。

存儲形式

優(yōu)點

缺點

業(yè)界代表

行式

  • 針對行的查詢
  • 一致性、事務性強
  • 適合頻率較高delete/update?
  • 針對列的查詢
  • 存儲成本高
  • 不利于聚合操作?

Mysql、sql server等

列式

  • 針對列的查詢
  • 壓縮率高(值近似、類型一致),存儲成本低
  • 單表海量數(shù)據(jù)查詢/分析效率高、速度快?
  • 針對行的查詢
  • 一致性、事務性弱
  • 不適合頻率較高delete/update
  • 多表關聯(lián)查詢

Clickhouse、SAP HANA等

二、為什么選擇CLickhouse

  • 數(shù)據(jù)壓縮

????????支持多種壓縮算法,在磁盤空間和cpu的消耗之間達到相對平衡

  • 順序讀寫

????????通過預排序、定期合并排序,巧妙的轉化為順序讀寫,大大提升吞吐量和查詢效率

  • 多核心并行處理

????????ClickHouse會使用服務器上一切可用的資源,從而以最自然的方式并行處理大型查詢

  • 支持通用SQL

????????在大多數(shù)情況下遵循ANSI SQL標準?

三、CLickhouse 基礎知識科普

1、架構層面

(1)分片
  • 數(shù)據(jù)讀取由分布式表從所有分片獲取數(shù)據(jù),作并行處理后返回客戶端
  • 數(shù)據(jù)寫入有2種方式: 1、直接寫入本地表,通過外部負載均衡實現(xiàn)數(shù)據(jù)平均分布 2、通過分布式表寫入,利用sharding_key實現(xiàn)數(shù)據(jù)平均分布, 支持如下分片方式:

分片方式

說明

random隨機分片

寫入數(shù)據(jù)會被隨機分發(fā)到分布式集群中的某個節(jié)點上

constant固定分片

寫入數(shù)據(jù)會被分發(fā)到固定一個節(jié)點上

column?value分片

按照某一列的值進行hash分片

自定義表達式分片

指定任意合法表達式,根據(jù)計算后的值進行hash分片

(2)副本
  • Clickhouse 使用 zookeeper(請使用3.4.5或以上版本)存儲副本的元信息
  • 副本是表級別的,不是服務器級別的。所以服務器里可以同時有復制表和非復制表
  • 只有MergeTree 系列里的表可支持副本
  • INSERT和ALTER語句會被復制
  • 復制方式是多主異步的?

2、表引擎

(1)合并樹家族(MergeTree)

????????合并樹家族(MergeTree)是Clickhouse內(nèi)適用于高負載任務的最通用和功能最強大的表引擎,基于MergeTree還衍生出十多種具備不同特性的表引擎,下文會重點介紹MergeTree。日志平臺選用的是ReplicatedMergeTree,以實現(xiàn)數(shù)據(jù)副本復制

(2)集成的表引擎

????????支持直接從Hive、S3、RabbitMQ、kafka、mysql等14種常見的數(shù)據(jù)源同步數(shù)據(jù)?

(3)特殊的表引擎
  • 分布式表:本身不存儲數(shù)據(jù),讀取時可在多個服務器進行分布式查詢,自動并行后返回。寫入時可通過sharding_key將數(shù)據(jù)寫入各個shard
  • 物化視圖:功能類似于數(shù)據(jù)庫視圖

3、表結構(MergeTree)

(1)索引
  • 一級索引(稀疏索引):將每列數(shù)據(jù)按照 index granularity(默認8192行)進行劃分,查詢時用二分法查找數(shù)據(jù)。因此,應盡量選用區(qū)分度低的字段
  • 二級索引(跳數(shù)索引):跳數(shù)索引是指數(shù)據(jù)片段按照粒度(index_granularity)分割成小塊后,將一定數(shù)量(granularity_value)的小塊按照一定規(guī)則組合成一個新的塊,對這個新的塊寫入索引信息?
(2)主鍵

????????主鍵值不是唯一的,且主鍵必須是 order by 字段的前綴字段。主鍵索引采用的是稀疏索引。

(3)排序(必填)

????????MergeTree 中唯一一個必填項,它設定了分區(qū)內(nèi)的數(shù)據(jù)按照哪些字段順序進行有序保存,應根據(jù)字段使用頻率、優(yōu)先級,由高至低組合,在沒有顯式設置主鍵的情況下,order by 字段即主鍵。?

(4)常用壓縮方式
  • LZ4:默認的壓縮方式,壓縮/解壓性能極強,但壓縮率一般
  • ZSTD[(level)]:壓縮/解壓性能不如LZ4,但壓縮率比LZ4高,常用于字符串類型。默認level為1,支持1-22,數(shù)字越大壓縮率越高,但壓縮/解壓消耗的cpu、io資源就越多,可結合實際情況設置level值,在cpu資源和磁盤空間之間達到相對平衡
(5)分區(qū)

????????分區(qū)是在一個表中通過指定的規(guī)則劃分而成的邏輯數(shù)據(jù)集。分區(qū)的目的主要是降低掃描的范圍,避免全表掃描,優(yōu)化查詢速度,一般按月、日或事件類型來劃分。但要避免過于精細的分區(qū)方案,以免影響整體性能。?

(6)數(shù)據(jù)生命周期

????????支持字段、表級別的TTL。當字段的值過期時,會替換成該字段的默認值,當該字段所有值過期,會自動刪除此字段;當表中的數(shù)據(jù)行過期時,會自動刪除對應行

四、Clickhouse的配套組件

  • zookeeper

????????負責存儲表的元數(shù)據(jù),用于副本復制

  • chproxy

????????負責Clickhouse節(jié)點的負載均衡,可實現(xiàn)讀寫分離

  • clickvisual

????????目前市面上唯一一款支持clickhouse的類kibana的業(yè)務日志查詢平臺,支持日志查詢、聚合、告警

五、CLickhouse部署架構參考

????????下圖為1分片2副本的架構圖:

通過接口機寫入數(shù)據(jù)到ck分布式表,日志解決方案,elasticsearch,clickhouse

六、參考文檔

  • Clickhouse

??????????https://clickhouse.com/docs/zh??

  • Chproxy

??????????https://www.chproxy.org/cn??

  • Clickvisual

??????????https://clickvisual.gocn.vip/??

下回預告

????????Clickhouse多分片多副本集群的詳細部署過程,歡迎關注后續(xù)更新的系列文章~文章來源地址http://www.zghlxwxcb.cn/news/detail-774173.html

到了這里,關于「從ES到CK 02」Clickhouse的基礎知識掃盲的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。如若轉載,請注明出處: 如若內(nèi)容造成侵權/違法違規(guī)/事實不符,請點擊違法舉報進行投訴反饋,一經(jīng)查實,立即刪除!

領支付寶紅包贊助服務器費用

相關文章

  • 「從ES到CK 01」Elasticsearch vs Clickhouse

    「從ES到CK 01」Elasticsearch vs Clickhouse

    ????????在完成將公司日志數(shù)據(jù)從Elasticsearch(下稱ES)轉戰(zhàn)到Clickhouse后,個人認為有必要將過程記錄分享。限于篇幅及便于分類組織,我會以一個系列文章的形式記錄: 01 《Elasticsearch vs Clickhouse》 02 《Clickhouse的基礎知識掃盲》 03 《?Clickhouse多分片多副本集群部署?》 04

    2024年02月04日
    瀏覽(20)
  • 「從ES到CK 05」clickhouse高效數(shù)據(jù)處理工具vector

    「從ES到CK 05」clickhouse高效數(shù)據(jù)處理工具vector

    ????????在完成將公司日志數(shù)據(jù)從Elasticsearch(下稱ES)轉戰(zhàn)到Clickhouse后,個人認為有必要將過程記錄分享。限于篇幅及便于分類組織,我會以一個系列文章的形式記錄: 01 《Elasticsearch vs Clickhouse》 02 《Clickhouse的基礎知識掃盲》 03 《?Clickhouse多分片多副本集群部署?》 04

    2024年02月03日
    瀏覽(54)
  • 「從ES到CK 04」Clickhouse表引擎選擇和表結構設計

    「從ES到CK 04」Clickhouse表引擎選擇和表結構設計

    ????????在完成將公司日志數(shù)據(jù)從Elasticsearch(下稱ES)轉戰(zhàn)到Clickhouse后,個人認為有必要將過程記錄分享。限于篇幅及便于分類組織,我會以一個系列文章的形式記錄: 01 《Elasticsearch vs Clickhouse》 02 《Clickhouse的基礎知識掃盲》 03 《?Clickhouse多分片多副本集群部署?》 04

    2024年02月03日
    瀏覽(51)
  • Java基礎知識篇02——封裝

    Java基礎知識篇02——封裝

    大家好,我是白夜,今天給大家聊聊面向對象的三大特征——封裝 先來看看我們之前寫的代碼結構 以上代碼存在的問題 所有類寫在一個目錄下面,非常難管理,因為以后項目不可能只有這么幾個類,當類數(shù)量很大的時候,就不容易管理了。 不能寫同名但是不同需求的類。

    2024年04月12日
    瀏覽(28)
  • Web安全-滲透測試-基礎知識02

    Web安全-滲透測試-基礎知識02

    無代理服務器 Request請求數(shù)據(jù)包 Reponse相應數(shù)據(jù)包 有代理服務器 Requeset請求數(shù)據(jù)包 Proxy代理服務器 Reponse相應數(shù)據(jù)包 代理的出現(xiàn)在接受數(shù)據(jù)包和發(fā)送數(shù)據(jù)包的時候提供了修改數(shù)據(jù)包的機會 總結: 建立連接——發(fā)送請求數(shù)據(jù)包——返回響應數(shù)據(jù)包——關閉連接 定義: HTTP協(xié)議是超

    2024年02月07日
    瀏覽(28)
  • STM32-02-STM32基礎知識

    STM32-02-STM32基礎知識

    STM32F103 STM32F103是ST公司基于ARM授權Cortex M3內(nèi)核而設計的一款芯片,而 Cortex M內(nèi)核 使用的是 ARM v7-M架構 ,是為了替代老舊的單片機而量身定做的一個內(nèi)核,具有低成本、低功耗、實時性好、中斷響應快、處理效率高等特點。 架構 、 內(nèi)核 、 芯片 的關系: 架構 : (ARMv7-M)

    2024年02月03日
    瀏覽(21)
  • Java基礎知識篇02——Java基本語法

    Java基礎知識篇02——Java基本語法

    定義: 就是用了保存數(shù)據(jù)的一個類型,一種數(shù)據(jù)類型,只能保存該類型數(shù)據(jù)值 作用: 只有了解數(shù)據(jù)類型,才能選擇合適的類型存放數(shù)據(jù),才能更好的利用計算機硬件資源(內(nèi)存和硬盤等)。 不同的數(shù)據(jù)類型存放數(shù)據(jù)大小是不同的。 數(shù)據(jù)類型的使用方式就是用來聲明一個變量,

    2024年03月15日
    瀏覽(96)
  • 02 k8s考試基礎知識(一)

    02 k8s考試基礎知識(一)

    服務發(fā)現(xiàn)負載平衡 , 服務很方便的給外部用戶 方便回滾和故障恢復 有金主爸爸們(google 紅帽之類的) master(或者叫做Control Plane) 這邊4個 etcl 存儲這個分布式集群的信息 apiserver 通信用的 controller manage 這個是apiserver的小弟,沒有主意的古惑仔 schedule 這個是apiserver的小弟之

    2024年02月03日
    瀏覽(51)
  • 前端02:CSS選擇器等基礎知識

    前端02:CSS選擇器等基礎知識

    CSS基礎選擇器、設置字體樣式、文本樣式、CSS的三種引入方式、能使用Chrome調試工具調試樣式 HTML專注做結構呈現(xiàn),樣式交給CSS,即結構(HTML)和樣式CSS相分離 CSS主要由量分布構成,選擇器以及一條或多條聲明 選擇器:給誰改樣式 聲明:改什么樣的樣式 在head最后寫上styt

    2023年04月25日
    瀏覽(20)
  • k8s學習筆記-02(Pod基礎知識)

    k8s學習筆記-02(Pod基礎知識)

    原創(chuàng)文檔編寫不易,未經(jīng)許可請勿轉載。文檔中有疑問的可以郵件聯(lián)系我。 郵箱:yinwanit@163.com k8s中不能直接對容器進行管理,k8s中最小得的理單元即Pod。 Pod分為靜態(tài)POD和動態(tài)POD,靜態(tài)Pod不通過kubelet管理。 同一個pod內(nèi)共享同一個網(wǎng)絡命名空間,IP地址等信息沒有配置在具體

    2024年02月14日
    瀏覽(35)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領取紅包,優(yōu)惠每天領

二維碼1

領取紅包

二維碼2

領紅包