相關(guān)文章

• 

  大數(shù)據(jù)之Hadoop數(shù)據(jù)倉庫Hive

  Hive 是一個(gè)構(gòu)建在 Hadoop 之上的數(shù)據(jù)倉庫，它可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射成表，并提供類 SQL 查詢功能，用于查詢的 SQL 語句會被轉(zhuǎn)化為 MapReduce 作業(yè)，然后提交到 Hadoop 上運(yùn)行。 特點(diǎn)： 簡單、容易上手 (提供了類似 sql 的查詢語言 hql)，使得精通 sql 但是不了解 Java 編程的人也

  2024年02月01日

  瀏覽(28)

• HDFS 跨集群數(shù)據(jù)同步（hive,hadoop）

  兩個(gè)不同的HDFS 集群數(shù)據(jù)遷移( A集群的數(shù)據(jù) - B 集群) 采用的是 SHELL 腳本 ?按表進(jìn)行; 日期分區(qū)進(jìn)行; #!/bin/bash ##################### #創(chuàng)建人:DZH #創(chuàng)建日期: 2020-04 #內(nèi)容： 數(shù)據(jù)遷移 ##################### ##################################### [ \\\"$#\\\" -ne 0 ] FILE=$1 path=$(cd `dirname $0`; pwd) ############## 獲取執(zhí)

  2024年04月27日

  瀏覽(104)
• 

  大數(shù)據(jù)技術(shù)之Hadoop學(xué)習(xí)(七)——Hive數(shù)據(jù)倉庫

  目錄 素材 一、數(shù)據(jù)倉庫簡介 1、數(shù)據(jù)倉庫的認(rèn)識 （1）數(shù)據(jù)倉庫是面向主題的。 （2）數(shù)據(jù)倉庫是隨時(shí)間變化的。 （3）數(shù)據(jù)倉庫相對穩(wěn)定 （4）OLTP和OLAP 2、數(shù)據(jù)倉庫的結(jié)構(gòu) （1）數(shù)據(jù)源 （2）數(shù)據(jù)存儲及管理 （3）OLAP 服務(wù)器 （4）前端工具 3、數(shù)據(jù)倉庫的數(shù)據(jù)模型 （1）星狀模

  2024年02月17日

  瀏覽(59)
• 

  hive 報(bào)錯(cuò)return code 40000 from org.apache.hadoop.hive.ql.exec.MoveTask解決思路

  參考學(xué)習(xí) https://github.com/apache/hive/blob/2b57dd27ad61e552f93817ac69313066af6562d9/ql/src/java/org/apache/hadoop/hive/ql/ErrorMsg.java#L47 為啥學(xué)習(xí)error code 開發(fā)過程中遇到以下錯(cuò)誤，大家覺得應(yīng)該怎么辦？從哪方面入手呢？ 1.百度？ 2.源碼查看報(bào)錯(cuò)地方 3.忽略(這個(gè)錯(cuò)是偶發(fā)的) 但是這個(gè)錯(cuò)是hive的錯(cuò)，

  2024年02月03日

  瀏覽(116)
• 

  Hive安裝與配置及常見問題解決

  ? 目錄 1.前期準(zhǔn)備 2.安裝HIVE并配置 2.1上傳HIVE安裝包 2.2添加Hive核心配置，選擇遠(yuǎn)程MySQL模式? 2.3給mysql賦予權(quán)限 ?2.4配置環(huán)境變量 2.5初始化Hive 3.常見問題 3.1配置 hive-env.sh 3.2配置hive-site.xml時(shí) 需要3臺虛擬需要并安裝好java 運(yùn)行環(huán)境 JDK 需要搭建配置好Hadoop集群并啟動同時(shí)需要

  2024年02月08日

  瀏覽(19)

• Hive使用中常見的問題及解決方法

  ????????Hive是基于Hadoop的一個(gè)數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張表，并提供SQL查詢功能。在工作中大部分場景都會用到，下面列出幾個(gè) hive 使用中常見的問題及解決方法。 1）Hive 默認(rèn)的輸入格式處理是CombineHiveInputFormat，會對小文件進(jìn)行合并 hive (default

  2024年02月10日

  瀏覽(18)
• 

  Spark、RDD、Hive 、Hadoop-Hive 和傳統(tǒng)關(guān)系型數(shù)據(jù)庫區(qū)別

  Hive Hadoop Hive 和傳統(tǒng)關(guān)系型數(shù)據(jù)庫區(qū)別 Spark 概念 基于內(nèi)存的分布式計(jì)算框架 只負(fù)責(zé)算 不負(fù)責(zé)存 spark 在離線計(jì)算 功能上 類似于mapreduce的作用 MapReduce的缺點(diǎn) 運(yùn)行速度慢 （沒有充分利用內(nèi)存） 接口比較簡單，僅支持Map Reduce 功能比較單一 只能做離線計(jì)算 Spark優(yōu)勢 運(yùn)行速度快

  2024年02月13日

  瀏覽(24)
• 

  hive查看數(shù)據(jù)庫出現(xiàn)org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

  在啟動hive后，使用show databses查看數(shù)據(jù)庫時(shí)發(fā)現(xiàn)，出現(xiàn)了這個(gè)錯(cuò)誤 根據(jù)搜索查找以及分析得知：可能是hive的數(shù)據(jù)庫MySQL在安裝的時(shí)候沒有初始化，初始化數(shù)據(jù)庫即可 schematool -dbType mysql -initSchema? 1.在MySQL中刪除元數(shù)據(jù) drop database metastore; 2.進(jìn)入hive中的bin里面?，輸入格式化命令

  2024年02月07日

  瀏覽(25)
• 

  0401hive入門-hadoop-大數(shù)據(jù)學(xué)習(xí).md

  Apache Hive是一個(gè)開源的數(shù)據(jù)倉庫查詢和分析工具，最初由Facebook開發(fā)，并后來捐贈給Apache軟件基金會。Hive允許用戶使用SQL語言來查詢和分析存儲在Hadoop分布式文件系統(tǒng)（HDFS）中的大規(guī)模數(shù)據(jù)集。它的設(shè)計(jì)目標(biāo)是使非技術(shù)用戶能夠輕松地在Hadoop集群上執(zhí)行數(shù)據(jù)查詢和分析任務(wù)，

  2024年02月09日

  瀏覽(41)
• 

  大數(shù)據(jù)Hadoop之——部署hadoop+hive+Mysql環(huán)境（window11）

  目錄 一、安裝JDK8 1）JDK下載地址 2）設(shè)置環(huán)境變量 二、Hadoop安裝（window10環(huán)境） 1）下載Hadoop3.1.3 2）Hadoop配置環(huán)境變量 3）在hadoop解壓目錄下創(chuàng)建相關(guān)目錄 4）修改Hadoop配置文件 1、core-site.xml文件：添加以下配置 2、hdfs-site.xml文件：添加以下配置，路徑改成自己的安裝路徑 3、

  2024年02月08日

  瀏覽(52)