相關(guān)文章

• 

  Hive數(shù)據(jù)存儲格式有哪些？TextFile、SequenceFile、RCFile、ORCFile、Parquet有什么區(qū)別？為什么絕大多數(shù)都使用ORCFile、Parquet格式？

  Hive 的數(shù)據(jù)存儲，是 Hive 操作數(shù)據(jù)的基礎(chǔ)。 選擇一個合適的底層數(shù)據(jù)存儲文件格式，即使在不改變當(dāng)前 Hive SQL 的情況下，性能也能得到數(shù)量級的提升 。 這種優(yōu)化方式對 MySQL 等關(guān)系型數(shù)據(jù)庫有些類似，選擇不同的數(shù)據(jù)存儲引擎，代表著不同的數(shù)據(jù)組織方式，對于數(shù)據(jù)庫的表現(xiàn)

  2024年02月02日

  瀏覽(29)
• 

  【SparkSQL】SparkSQL的運行流程 & Spark On Hive & 分布式SQL執(zhí)行引擎

  【大家好，我是愛干飯的猿，本文重點介紹、SparkSQL的運行流程、 SparkSQL的自動優(yōu)化、Catalyst優(yōu)化器、SparkSQL的執(zhí)行流程、Spark On Hive原理配置、分布式SQL執(zhí)行引擎概念、代碼JDBC連接。 后續(xù)會繼續(xù)分享其他重要知識點總結(jié)，如果喜歡這篇文章，點個贊??，關(guān)注一下吧】 上一篇

  2024年02月04日

  瀏覽(15)
• 

  13.108.Spark 優(yōu)化、Spark優(yōu)化與hive的區(qū)別、SparkSQL啟動參數(shù)調(diào)優(yōu)、四川任務(wù)優(yōu)化實踐：執(zhí)行效率提升50%以上

  13.108.Spark 優(yōu)化 1.1.25.Spark優(yōu)化與hive的區(qū)別 1.1.26.SparkSQL啟動參數(shù)調(diào)優(yōu) 1.1.27.四川任務(wù)優(yōu)化實踐：執(zhí)行效率提升50%以上 1.1.25.Spark優(yōu)化與hive的區(qū)別 先理解spark與mapreduce的本質(zhì)區(qū)別，算子之間（map和reduce之間多了依賴關(guān)系判斷，即寬依賴和窄依賴。） 優(yōu)化的思路和hive基本一致，比較

  2024年02月10日

  瀏覽(95)

• Parquet文件格式問答

  Parquet文件格式是一種列式存儲格式，用于在大數(shù)據(jù)生態(tài)系統(tǒng)中存儲和處理大規(guī)模數(shù)據(jù) 。它由Apache Parquet項目開發(fā)和維護(hù)，是一種開放的、跨平臺的數(shù)據(jù)存儲格式。 Parquet文件格式采用了一種高效的壓縮和編碼方式，可以在壓縮和解壓縮時利用數(shù)據(jù)的局部性和重復(fù)性，從而達(dá)到

  2024年02月04日

  瀏覽(16)

• python導(dǎo)出數(shù)據(jù)為parquet格式

  import duckdb import pandas as pd from sqlalchemy import create_engine # 定義連接到您的 MySQL 或 PostgreSQL 數(shù)據(jù)庫的參數(shù) db_type = \\\'mysql\\\' ?# 或 \\\'postgresql\\\' user = \\\'your_username\\\' password = \\\'your_password\\\' host = \\\'your_host\\\' port = \\\'your_port\\\' database = \\\'your_database\\\' table_name = \\\'your_table\\\' # 創(chuàng)建 SQLAlchemy 引擎 if db_type == \\\'mys

  2024年01月25日

  瀏覽(17)

• 用sqoop導(dǎo)出hive parquet 分區(qū)表到mysql

  確保你已經(jīng)安裝并配置好了Sqoop工具，并且可以連接到Hadoop集群和MySQL數(shù)據(jù)庫。 創(chuàng)建一個MySQL表來存儲導(dǎo)出的數(shù)據(jù)。請確保MySQL表的結(jié)構(gòu)與Hive Parquet分區(qū)表的結(jié)構(gòu)匹配。 使用Sqoop的export命令來執(zhí)行導(dǎo)出操作。以下是一個示例命令： 替換 mysql_host、database_name、mysql_username 和 mysq

  2024年02月14日

  瀏覽(18)
• 

  將Parquet文件的數(shù)據(jù)導(dǎo)入Hive 、JSON文件導(dǎo)入ES

  主要利用社區(qū)工具 https://github.com/apache/parquet-mr/ 編譯cli工具 查看元數(shù)據(jù)信息 查詢抽樣數(shù)據(jù) parquet 和 hive 的 field 類型映射關(guān)系 parquet 字段類型 hive 字段類型 BINARY STRING BOOLEAN BOOLEAN DOUBLE DOUBLE FLOAT FLOAT INT32 INT INT64 BIGINT INT96 TIMESTAMP BINARY + OriginalType UTF8 STRING BINARY + OriginalType DECI

  2024年02月08日

  瀏覽(21)
• 

  大數(shù)據(jù)_Hadoop_Parquet數(shù)據(jù)格式詳解

  之前有面試官問到了parquet的數(shù)據(jù)格式，下面對這種格式做一個詳細(xì)的解讀。 參考鏈接 ： 列存儲格式Parquet淺析 - 簡書 Parquet 文件結(jié)構(gòu)與優(yōu)勢_parquet文件_KK架構(gòu)的博客-CSDN博客 Parquet文件格式解析_parquet.block.size_david\\\'fantasy的博客-CSDN博客 行組(Row Group)? 按照行將數(shù)據(jù)物理上劃分為

  2024年02月14日

  瀏覽(21)
• 

  Spark On Hive配置測試及分布式SQL ThriftServer配置

  Spark本身是一個執(zhí)行引擎，而沒有管理metadate的能力，當(dāng)我們在執(zhí)行SQL的時候只能將SQL轉(zhuǎn)化為RDD提交。而對于一些數(shù)據(jù)中的元數(shù)據(jù)Spark并不知道，而Spark能寫SQL主要是通過DataFrame進(jìn)行注冊的。 這時候我們就可以借助Hive中的MetaStore進(jìn)行元數(shù)據(jù)管理。也就是說把Hive中的metastore服務(wù)

  2024年01月21日

  瀏覽(26)
• 

  使用TPC-H 進(jìn)行GreatSQL并行查詢測試

  GreatSQL-8.0.25-17 使用 TPC-H 生成數(shù)據(jù) 啟動數(shù)據(jù)庫后，可以檢查配置是否生效 并行查詢相關(guān)參數(shù) 啟動數(shù)據(jù)庫： 本次的工作在/data/tpch 可執(zhí)行程序為dbgen,依賴一個數(shù)據(jù)分布文件dists.dss。可以將dbgen和dists.dss拷貝到同一目錄使用 dss.ddl 和 dss.ri 文件 準(zhǔn)備表結(jié)構(gòu)和索引文件 dss.ddl 和 d

  2024年02月02日

  瀏覽(19)