国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

Hadoop——Hive運行環(huán)境搭建

這篇具有很好參考價值的文章主要介紹了Hadoop——Hive運行環(huán)境搭建。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點擊"舉報違法"按鈕提交疑問。

Windows:10? ? ? ? ?JDK:1.8? ? ? ? ?Apache Hadoop:2.7.0

Apache Hive:2.1.1? ? ? ? ?Apache Hive src:1.2.2? ? ? ? ?MySQL:5.7

1、下載

Hadoop搭建

Apache Hive 2.1.1:https://archive.apache.org/dist/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz

Apache Hive 1.2.2 src:https://archive.apache.org/dist/hive/hive-1.2.2/apache-hive-1.2.2-src.tar.gz

MySQL驅(qū)動下載:MySQL :: Begin Your Download或使用我下載好的(百度網(wǎng)盤 提取碼:1024)

這里是以我安裝版本,搭建操作都是一樣的。

2、Hadoop和Hive版本

注意:Hive中對應(yīng)的Hive版本最好不要比你安裝的Hadoop版本高。

可以在解壓后的Hive src中的pom.xml文件中查看:

Hadoop——Hive運行環(huán)境搭建,Hadoop,Java,hadoop,hive,大數(shù)據(jù)

?文章來源地址http://www.zghlxwxcb.cn/news/detail-602412.html

3、Mysql驅(qū)動配置

將下載好的MySQL驅(qū)動解壓,將mysql-connector-java-5.1.46目錄下的mysql-connector-java-5.1.46-bin.jar復(fù)制到apache-hive-2.1.1-bin\lib目錄下。

Hadoop——Hive運行環(huán)境搭建,Hadoop,Java,hadoop,hive,大數(shù)據(jù)

4、配置變量

HIVE_HOME:

Hadoop——Hive運行環(huán)境搭建,Hadoop,Java,hadoop,hive,大數(shù)據(jù)

?PATH:

Hadoop——Hive運行環(huán)境搭建,Hadoop,Java,hadoop,hive,大數(shù)據(jù)

?注意:以自己存放路徑為準(zhǔn),E:\hadoop\..只是我自己的存放位置,下面相關(guān)路徑操作同理。

5、修改配置文件名

找到apache-hive-2.1.1-bin\conf目錄下的4個文件,重命名:

hive-default.xml.template -----> hive-site.xml

hive-env.sh.template -----> hive-env.sh

hive-exec-log4j.properties.template -----> hive-exec-log4j2.properties

hive-log4j2.properties.template -----> hive-log4j2.properties

6、創(chuàng)建目錄

\apache-hive-2.1.1-bin\my_hive

\apache-hive-2.1.1-bin\my_hive\operation_logs_dir

\apache-hive-2.1.1-bin\my_hive\querylog_dir

\apache-hive-2.1.1-bin\my_hive\resources_dir

\apache-hive-2.1.1-bin\my_hive\scratch_dir

Hadoop——Hive運行環(huán)境搭建,Hadoop,Java,hadoop,hive,大數(shù)據(jù)

?

7、修改配置

修改hive-env.sh

Hadoop——Hive運行環(huán)境搭建,Hadoop,Java,hadoop,hive,大數(shù)據(jù)

修改hive-site.xml

四個新建文件路徑配置:

Hadoop——Hive運行環(huán)境搭建,Hadoop,Java,hadoop,hive,大數(shù)據(jù)

Hadoop——Hive運行環(huán)境搭建,Hadoop,Java,hadoop,hive,大數(shù)據(jù)

Hadoop——Hive運行環(huán)境搭建,Hadoop,Java,hadoop,hive,大數(shù)據(jù)

連接數(shù)據(jù)庫相關(guān)配置:

賬號是否為root,密碼是否為123456,端口是否為3306,如果不一樣,就需要更改。

Hadoop——Hive運行環(huán)境搭建,Hadoop,Java,hadoop,hive,大數(shù)據(jù)

Hadoop——Hive運行環(huán)境搭建,Hadoop,Java,hadoop,hive,大數(shù)據(jù)

注意:useSSL=false要放最后,不然后面啟動hive metastore服務(wù)會報錯 ?

Hadoop——Hive運行環(huán)境搭建,Hadoop,Java,hadoop,hive,大數(shù)據(jù)

?

8、在Hadoop上創(chuàng)建HDFS目錄

hdfs dfs -mkdir -p /tmp

hdfs dfs -mkdir -p /user/hive/warehouse

hdfs dfs -chmod 777 /tmp

hdfs dfs -chmod 777 /user/hive/warehouse

9、創(chuàng)建數(shù)據(jù)庫

Hadoop——Hive運行環(huán)境搭建,Hadoop,Java,hadoop,hive,大數(shù)據(jù)

?

10、啟動Hadoop

到Hadoop的sbin目錄下右鍵管理員身份運行start-all.cmd,或命令運行:start-all.cmd

11、啟動hive metastore服務(wù)

以管理員身份打開cmd,目錄切換到\apache-hive-2.1.1-bin\bin,輸入命令:hive --service schematool -dbType mysql -initSchema

使用命令hive --service metastore的啟動方式不適合Windows

Hadoop——Hive運行環(huán)境搭建,Hadoop,Java,hadoop,hive,大數(shù)據(jù)

?如果在mysql中hive表中出現(xiàn)下圖中許多表的情況,則說明開啟成功。

Hadoop——Hive運行環(huán)境搭建,Hadoop,Java,hadoop,hive,大數(shù)據(jù)

只需要在第一次啟動,之后再使用Hive就不需要再啟動,可跳過這個階段。

12、啟動hive

以管理員身份打開cmd,目錄切換到\apache-hive-2.1.1-bin\bin,輸入命令:hive.cmd

Hadoop——Hive運行環(huán)境搭建,Hadoop,Java,hadoop,hive,大數(shù)據(jù)

?嘗試建一個表:create table stu(id int, name string),如果創(chuàng)建成功可以在管理界面看見:

Hadoop——Hive運行環(huán)境搭建,Hadoop,Java,hadoop,hive,大數(shù)據(jù)

?

到了這里,關(guān)于Hadoop——Hive運行環(huán)境搭建的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實不符,請點擊違法舉報進行投訴反饋,一經(jīng)查實,立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費用

相關(guān)文章

  • 構(gòu)建大數(shù)據(jù)環(huán)境:Hadoop、MySQL、Hive、Scala和Spark的安裝與配置

    構(gòu)建大數(shù)據(jù)環(huán)境:Hadoop、MySQL、Hive、Scala和Spark的安裝與配置

    在當(dāng)今的數(shù)據(jù)驅(qū)動時代,構(gòu)建一個強大的大數(shù)據(jù)環(huán)境對于企業(yè)和組織來說至關(guān)重要。本文將介紹如何安裝和配置Hadoop、MySQL、Hive、Scala和Spark,以搭建一個完整的大數(shù)據(jù)環(huán)境。 安裝Hadoop 首先,從Apache Hadoop的官方網(wǎng)站下載所需的Hadoop發(fā)行版。選擇適合你系統(tǒng)的二進制發(fā)行版,下

    2024年02月11日
    瀏覽(31)
  • hadoop集群搭建+hive安裝

    hadoop集群搭建+hive安裝

    VMware-workstation:VMware-workstation-full-16.2.3 ubuntu:ubuntu-21.10 hadoop:hadoop2.7.2 mysql:mysql-connector-java-8.0.19 jdk:jdk-8u91-linux-x64.tar(注意要是linux版本的,因為是在linux系統(tǒng)中創(chuàng)建虛擬機) hive:hive1.2.1 小技巧: 右鍵單擊可以paste 1.選擇典型即可 2.將ubuntu鏡像文件導(dǎo)入: 3.用戶名要記住

    2024年02月05日
    瀏覽(19)
  • 【大數(shù)據(jù)】Hadoop運行環(huán)境搭建

    使用VMware虛擬機搭建基于CentOS7的Hadoop環(huán)境: cpu核數(shù)(需要搭建3臺Hadoop組成集群,加上Windows本機,所以可以分配的數(shù)量為本機的cpu核數(shù)除以4) 內(nèi)存至少4G 硬盤最少50G 創(chuàng)建虛擬機: 新建虛擬機,選擇自定義(高級)—硬件兼容性默認(rèn)—選擇稍后安裝操作系統(tǒng) —客戶機操作系統(tǒng)

    2024年02月08日
    瀏覽(20)
  • hadoop搭建、mysql、hive部署

    hadoop搭建、mysql、hive部署

    一、 HDFS安裝搭建 1.1 關(guān)閉虛擬機防火墻 在之后的學(xué)習(xí)、操作中,經(jīng)常會遇到在宿主機中通過程序去訪問虛擬機中的相關(guān)軟件,但是默認(rèn)情況下,虛擬機的防火墻是不允許訪問,這是需要開啟一個一個的端口號,比較麻煩,所以在教學(xué)過程中,為了提高教學(xué)、學(xué)習(xí)的效率,直

    2024年02月08日
    瀏覽(18)
  • 搭建hadoop和hive分析腳本

    搭建環(huán)境 hdfs操作 創(chuàng)建路徑 上傳 HIVE數(shù)據(jù)庫操作 創(chuàng)庫 建表 導(dǎo)入數(shù)據(jù) 導(dǎo)出文件 #輸出路徑 先選 數(shù)據(jù)分析校驗輸出 Hive會自動生成輸出文件,并將結(jié)果寫入這些文件中。你不需要提前創(chuàng)建 part-r-00000 文件,Hive會根據(jù)配置自動創(chuàng)建文件并命名 # 聯(lián)合輸出 $ javac -classpath $(hadoop cla

    2024年02月16日
    瀏覽(17)
  • 【大數(shù)據(jù)】hadoop運行環(huán)境搭建(搭建如此簡單)

    【大數(shù)據(jù)】hadoop運行環(huán)境搭建(搭建如此簡單)

    首先準(zhǔn)備好工具。下載好最新的VMware Workstation,CentorOS 7運行Linux,建議Linux桌面標(biāo)準(zhǔn)版,且創(chuàng)建好一個用戶 安裝模板虛擬機。IP地址192.168.150.100(自定義)、主機名稱hadoop100、內(nèi)存4G、硬盤50G,嘎嘎重要,一步一步來完成 vim /etc/sysconfig/network-scripts/ifcfg-ens33 進入配置文件(想不

    2024年02月08日
    瀏覽(18)
  • docker搭建hadoop和hive集群

    docker搭建hadoop和hive集群

    安裝docker教程 https://www.runoob.com/docker/centos-docker-install.html 只要在終端輸入: 后出現(xiàn)如下圖的內(nèi)容就證明安裝docker成功了 在終端輸入: 在終端輸入:sudo docker images,可以看到剛剛拉取的兩個鏡像 每次執(zhí)行docker語句都要在前面加sudo,比較麻煩,直接將hadoop用戶加入docker用戶組

    2024年02月01日
    瀏覽(17)
  • 大數(shù)據(jù)技術(shù)之Hadoop-運行環(huán)境搭建

    大數(shù)據(jù)技術(shù)之Hadoop-運行環(huán)境搭建

    ?1. 設(shè)置VMware 網(wǎng)段 ? 在 VMware 的虛擬網(wǎng)絡(luò)編輯器中,將 VMnet8 虛擬網(wǎng)卡的: 網(wǎng)段設(shè)置為: 192.168.88.0 網(wǎng)關(guān)設(shè)置為:192.168.88.2 ?2. 下載CentOS操作系統(tǒng) 首先,我們需要下載操作系統(tǒng)的安裝文件,本次使用 CentOS7.6 版本進行學(xué)習(xí): 首先,我們需要下載操作系統(tǒng)的安裝文件,本次使用

    2024年03月10日
    瀏覽(17)
  • 大數(shù)據(jù)集群搭建全部過程(Vmware虛擬機、hadoop、zookeeper、hive、flume、hbase、spark、yarn)

    大數(shù)據(jù)集群搭建全部過程(Vmware虛擬機、hadoop、zookeeper、hive、flume、hbase、spark、yarn)

    1.網(wǎng)關(guān)配置(參照文檔) 注意事項:第一臺虛擬機改了,改為centos 101 ,地址為192.168.181.130 網(wǎng)關(guān)依然是192.168.181.2,但是一定要注意,它在D盤的文件名稱是Hadoop 101,后面重新搭建的會命名文件夾為hadoop 101,hadoop 102和hadoop 103,然后發(fā)到一個總的文件夾hadoop_03里面去 VMnet8的IP地址一定

    2024年02月02日
    瀏覽(29)
  • 分布式搭建(hadoop+hive+spark)

    hadoop-master 192.168.43.141 hadoop-slave1 192.168.43.142 hadoop-slave2 192.168.43.143 鏈接:https://pan.baidu.com/s/1OwKLvZAaw8AtVaO_c6mvtw?pwd=1234 提取碼:1234 MYSQL5.6:wget http://repo.mysql.com/mysql-community-release-el6-5.noarch.rpm Scale:wget https://downloads.lightbend.com/scala/2.12.4/scala-2.12.4.tgz

    2024年02月12日
    瀏覽(21)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包