相關文章

• 

  大數(shù)據(jù)學習：haproxy實現(xiàn)impala的負載均衡

  1.1 在集群中選擇一個節(jié)點，使用yum方式安裝HAProxy服務 1.2 啟動與停止HAProxy服務，并將服務添加到自啟動列表 3.HAProxy配置Impala負載均衡 1.將 /etc/haproxy 目錄下的 haproxy.cfg 文件備份，新建 haproxy.cfg 文件，添加如下配置 主要配置了HAProxy的http狀態(tài)管理界面、impalashell和impalajdbc的負

  2024年02月10日

  瀏覽(19)
• 

  字節(jié)跳動面試題目大數(shù)據(jù)計算引擎：impala對比hive，Python開發(fā)自學技巧

  數(shù)據(jù)流： 內(nèi)存使用： 調度： 容錯： 適用面： Impala相對于Hive所使用的優(yōu)化技術 Impala的優(yōu)缺點 Impala****與Hive的異同 ====================== 數(shù)據(jù)存儲 使用相同的存儲數(shù)據(jù)池都支持把數(shù)據(jù)儲于HDFS, HBase。 元數(shù)據(jù) 兩者使用相同的元數(shù)據(jù)。 SQL解釋處理 比較相似都是通過詞法分析生成執(zhí)

  2024年04月10日

  瀏覽(23)

• Impala與Docker：如何在容器化環(huán)境中優(yōu)化Impala性能

  作者：禪與計算機程序設計藝術 容器技術作為云計算領域的新興技術，越來越受到各行各業(yè)的青睞。容器技術的出現(xiàn)使得應用軟件可以輕松部署、擴展和管理；由于容器隔離了應用程序的運行環(huán)境，使得其具有更高的資源利用率；同時也方便實現(xiàn)多任務并行處理，提升了系統(tǒng)

  2024年02月07日

  瀏覽(22)
• 

  往docker中cloudbeaver的容器添加達夢數(shù)據(jù)庫、impala數(shù)據(jù)庫連接支持（cloudbeaver添加自定義數(shù)據(jù)連接）

  cloudbeaver默認沒有開放impala連接，更不會支持國產(chǎn)數(shù)據(jù)庫了 docker安裝運行cloudbeaver可以參考文章：docker安裝運行CloudBeaver并設置默認語言為中文 本文跳過cloudbeaver鏡像拉取，直接就開始實現(xiàn)自定義數(shù)據(jù)庫連接功能 1.1、新建掛載的宿主機根目錄 掛載的文件都放置該目錄下 1.2、運

  2024年01月19日

  瀏覽(58)
• 

  1、通過億級數(shù)據(jù)量在hive和impala中查詢比較text、orc和parquet性能表現(xiàn)（二）

  本文通過在hdfs中三種不同數(shù)據(jù)格式文件存儲相同數(shù)量的數(shù)據(jù)，通過hive和impala兩種客戶端查詢進行比較。 本文前提：熟悉hadoop、hive和impala、kafka、flink等，并且其環(huán)境都可正常使用。（在后續(xù)的專欄中都會將對應的內(nèi)容補全，目前已經(jīng)完成了zookeeper和hadoop的部分。） 本文分為

  2024年02月12日

  瀏覽(24)

• Impala計算日期差datediff

  在數(shù)據(jù)庫查詢上，除了獲取當前日期、進行日期加減外，常見的還有計算兩個日期之后的日期差，為一些指標的計算提供時間基礎； Impala中常用的日期差函數(shù) datediff ，就是用來計算兩個日期之間的間隔； 使用方式如下： 類似日期差的計算中，還有其他計算時間差的函數(shù)，如

  2024年02月11日

  瀏覽(19)
• 

  Hive和Impala的行列轉換

  explode+lateral group by+collect_list 一、列轉行 (對某列拆分，形成新列) 使用函數(shù)：lateral view explode(split(column, ‘,’)) num eg: 如表：t_row_to_column_tmp 數(shù)據(jù)如下，對tag列進行拆分 二、行轉列 (根據(jù)主鍵，對某列進行合并) 使用函數(shù)：concat_ws(‘,’,collect_set(column)) 說明：collect_list 不去重，

  2024年02月12日

  瀏覽(25)

• 成功解決Impala中修改parquet表的字段類型問題

  最近有個小伙伴在開發(fā)中遇到了 Impala 中修改 Parquet 表的字段類型問題，于是開啟了問題解決之路。 這個小伙伴在 Impala 中對 Hive 的表進行了刪除、修改字段類型等操作，等這些操作后去 Impala 去查詢該表的時候，出現(xiàn)了如下的問題： 問題1： 問題2：

  2024年02月16日

  瀏覽(29)
• 

  網(wǎng)易NDH基于Impala的高性能SQL引擎建設實踐

  導讀：本文將從四個方面來進行介紹。首先是分析在網(wǎng)易NDH中使用 Impala 過程遇到的一些痛點；第二個部分是基于這些痛點問題，我們提出了建設高性能SQL引擎的方案，以及這些方案是基于什么原則來創(chuàng)建的；第三個是基于這些原則，我們做了哪些的優(yōu)化實踐的嘗試；最后會

  2024年02月09日

  瀏覽(29)

• Impala時間轉換to_date、to_timestamp

  在時間的運算上，也常常使用到日期格式的轉換，如日期字符串轉為日期型，日期轉為格式化字符串，是兩種常見的需求；另外也有需要將時間轉為時間戳的場景等等； 時間數(shù)據(jù)的轉換上，主要用 to_date、to_timestamp ，即可滿足日期字符串轉為日期型的需求； from_timestamp、fr

  2023年04月25日

  瀏覽(19)