相關(guān)文章

• 

  SparkSQL與Hive整合(Spark On Hive）

  hive metastore元數(shù)據(jù)服務(wù)用來(lái)存儲(chǔ)元數(shù)據(jù)，所謂元數(shù)據(jù)，即hive中庫(kù)、表、字段、字段所屬表、表所屬庫(kù)、表的數(shù)據(jù)所在目錄及數(shù)據(jù)分區(qū)信息。元數(shù)據(jù)默認(rèn)存儲(chǔ)在hive自帶的Derby數(shù)據(jù)庫(kù)。在內(nèi)嵌模式和本地模式下，metastore嵌入在主hive server進(jìn)程中。但在遠(yuǎn)程模式下，metastore 和 hive

  2024年02月12日

  瀏覽(27)

• Hive on Spark （1）

  在 Apache Spark 中，Executor 是分布式計(jì)算框架中的一個(gè)關(guān)鍵組件，用于 在集群中執(zhí)行具體的計(jì)算任務(wù) 。每個(gè) Executor 都在獨(dú)立的 JVM 進(jìn)程中運(yùn)行，可以在集群的多臺(tái)機(jī)器上同時(shí)存在。Executors 負(fù)責(zé)實(shí)際的數(shù)據(jù)處理、計(jì)算和任務(wù)執(zhí)行，它們執(zhí)行來(lái)自 Driver 的指令，并將計(jì)算結(jié)果返回給

  2024年02月12日

  瀏覽(25)
• 

  hive on spark hql 插入數(shù)據(jù)報(bào)錯(cuò) Failed to create Spark client for Spark session Error code 30041

  離線數(shù)倉(cāng) hive on spark 模式，hive 客戶端 sql 插入數(shù)據(jù)報(bào)錯(cuò) Failed to execute spark task, with exception \\\'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create Spark client for Spark session 50cec71c-2636-4d99-8de2-a580ae3f1c58)\\\' FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed t

  2024年02月14日

  瀏覽(24)
• 

  Hive on Spark環(huán)境搭建

  Hive 引擎包括：默認(rèn) MR、tez、spark 最底層的引擎就是MR （Mapreduce）無(wú)需配置，Hive運(yùn)行自帶 Hive on Spark：Hive 既作為存儲(chǔ)元數(shù)據(jù)又負(fù)責(zé) SQL 的解析優(yōu)化，語(yǔ)法是 HQL 語(yǔ)法，執(zhí)行引擎變成了 Spark，Spark 負(fù)責(zé)采用 RDD 執(zhí)行。 Spark on Hive : Hive 只作為存儲(chǔ)元數(shù)據(jù)，Spark 負(fù)責(zé) SQL 解析優(yōu)化，語(yǔ)

  2024年02月13日

  瀏覽(17)
• 

  hive on spark內(nèi)存模型

  hive on spark的調(diào)優(yōu),那必然涉及到這一系列框架的內(nèi)存模型。本章就是來(lái)講一下這些框架的內(nèi)存模型。 hive on spark的任務(wù)，從開(kāi)始到結(jié)束?？偣采婕傲?個(gè)框架。分別是：yarn、hive、spark 其中，hive只是一個(gè)客戶端的角色。就不涉及任務(wù)運(yùn)行時(shí)的內(nèi)存。所以這里主要講的yarn和spark的

  2024年04月16日

  瀏覽(18)
• 

  hive修改spark版本重新編譯，hive3.1.3 on spark3.3.0

  我的是hive3.1.3 spark3.3.0（請(qǐng)先將自己的 hive on mr 搭建完場(chǎng)，有簡(jiǎn)單了解在搞這個(gè)） 1.下載hive源碼 2. maven編譯：mvn clean -DskipTests package -Pdist （idea 編譯不行，能行的評(píng)論告訴我） 右鍵 - Git Bash idea打開(kāi)項(xiàng)目，右鍵pom 添加成maven項(xiàng)目 修改pom中自己所需依賴的版本

  2023年04月21日

  瀏覽(18)
• 

  Spark on Hive及 Spark SQL的運(yùn)行機(jī)制

  代碼中集成Hive： Spark SQL底層依然運(yùn)行的是Spark RDD的程序，所以說(shuō)Spark RDD程序的運(yùn)行的流程，在Spark SQL中依然是存在的，只不過(guò)在這個(gè)流程的基礎(chǔ)上增加了從SQL翻譯為RDD的過(guò)程 Spark SQL的運(yùn)行機(jī)制，其實(shí)就是在描述如何將Spark SQL翻譯為RDD程序 Catalyst內(nèi)部具體的執(zhí)行流程： 專業(yè)術(shù)

  2024年01月23日

  瀏覽(16)
• 

  Spark、RDD、Hive 、Hadoop-Hive 和傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)區(qū)別

  Hive Hadoop Hive 和傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)區(qū)別 Spark 概念 基于內(nèi)存的分布式計(jì)算框架 只負(fù)責(zé)算 不負(fù)責(zé)存 spark 在離線計(jì)算 功能上 類似于mapreduce的作用 MapReduce的缺點(diǎn) 運(yùn)行速度慢 （沒(méi)有充分利用內(nèi)存） 接口比較簡(jiǎn)單，僅支持Map Reduce 功能比較單一 只能做離線計(jì)算 Spark優(yōu)勢(shì) 運(yùn)行速度快

  2024年02月13日

  瀏覽(24)
• 

  Spark On Hive原理和配置

  目錄 一、Spark On Hive原理 ? ? ? ? （1）為什么要讓Spark On Hive？ 二、MySQL安裝配置（root用戶） ? ? ? ? （1）安裝MySQL ? ? ? ? （2）啟動(dòng)MySQL設(shè)置開(kāi)機(jī)啟動(dòng) ? ? ? ? （3）修改MySQL密碼 三、Hive安裝配置 ? ? ? ? （1）修改Hadoop的core-site.xml ? ? ? ? （2）創(chuàng)建hive-site.xml ? ? ? ?

  2024年02月08日

  瀏覽(25)
• 

  hive on spark親自編譯，詳細(xì)教程

  hive 2.3.6 spark 2.0.0版本 hadoop-2.7.6版本 操作流程： hadoop-2.7.6 1、安裝hadoop不說(shuō)了。簡(jiǎn)單。 spark-2.0.0 2、下載spark-2.0.0的源碼. https://archive.apache.org/dist/spark/spark-2.1.0/ 這個(gè)下載spark各個(gè)版本。 3、編譯spark源碼 執(zhí)行編譯操作: 當(dāng)前目錄下面會(huì)多一個(gè)tgz的安裝包。需要把這個(gè)文件拷貝的

  2024年02月16日

  瀏覽(40)