国产无码综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

<address id="zlxvx"></address>

測試環(huán)境搭建整套大數(shù)據(jù)系統(tǒng)（三：搭建集群zookeeper，hdfs，mapreduce，yarn，hive）

2年前作者：宇智波云分類：Toy博客閱讀(161)違法舉報(bào)

這篇具有很好參考價(jià)值的文章主要介紹了測試環(huán)境搭建整套大數(shù)據(jù)系統(tǒng)（三：搭建集群zookeeper，hdfs，mapreduce，yarn，hive）。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方，請(qǐng)大家不吝賜教，您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

一：搭建zk

https://blog.csdn.net/weixin_43446246/article/details/123327143

二：搭建hadoop，yarn，mapreduce。

1. 安裝hadoop。

sudo tar -zxvf hadoop-3.2.4.tar.gz -C /opt

2. 修改java配置路徑。

cd /opt/hadoop-3.2.4/etc/hadoop
vim hadoop-env.sh
增加以下內(nèi)容
export JAVA_HOME=/opt/jdk1.8.0_211
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

java_home填寫自己安裝的路徑。

3. 修改配置文件。

vim core-site.xml

將以下信息填寫到configuration中

		<property>
                <name>fs.defaultFS</name>
                <value>hdfs://10.15.250.196:8020</value>
        </property>
        <!-- 指定hadoop數(shù)據(jù)的存儲(chǔ)目錄 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/hadoop-3.2.4/data</value>
        </property>
        <!-- 該參數(shù)表示可以通過 httpfs 接口訪問 HDFS 的 IP 地址限制 -->
        <!-- 配置 root(超級(jí)用戶) 允許通過 httpfs 方式訪問 HDFS 的主機(jī)名、域名 -->
        <property>
                <name>hadoop.proxyuser.root.hosts</name>
                <value>*</value>
        </property>
        <!-- 通過 httpfs 接口訪問的用戶獲得的群組身份 -->
        <!-- 配置允許通過 httpfs 方式訪問的客戶端的用戶組 -->
        <property>
                <name>hadoop.proxyuser.root.groups</name>
                <value>*</value>
        </property>

vim hdfs-site.xml

<property>
<name>dfs.namenode.secondary.http-address</name>
<value>10.15.250.202:50090</value>
</property>
<property>
<name>dfs.namenode.secondary.https-address</name>
<value>10.15.250.202:50091</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>

vim mapred-site.xml

<!-- 指定mr框架為yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!-- 指定mapreduce jobhistory地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>10.15.250.196:10020</value>
</property>
<!-- 任務(wù)歷史服務(wù)器的web地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>10.15.250.196:19888</value>
</property>
<!-- 配置運(yùn)行過的日志存放在hdfs上的存放路徑 -->
<property>
<name>mapreduce.jobhistory.done-dir</name>
<value>/history/done</value>
</property>
<!-- 配置正在運(yùn)行中的日志在hdfs上的存放路徑 -->
<property>
<name>mapreudce.jobhistory.intermediate.done-dir</name>
<value>/history/done/done_intermediate</value>
</property>
<property>
<name>mapreduce.application.classpath</name>
<value>
/opt/hadoop-3.2.4/etc/hadoop,
/opt/hadoop-3.2.4/share/hadoop/common/*,
/opt/hadoop-3.2.4/share/hadoop/common/lib/*,
/opt/hadoop-3.2.4/share/hadoop/hdfs/*,
/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/*,
/opt/hadoop-3.2.4/share/hadoop/mapreduce/*,
/opt/hadoop-3.2.4/share/hadoop/mapreduce/lib/*,
/opt/hadoop-3.2.4/share/hadoop/yarn/*,
/opt/hadoop-3.2.4/share/hadoop/yarn/lib/*
</value>
</property>

vim yarn-site.xml

<!-- 開啟RM高可用 -->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!-- 指定RM的cluster id -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yarn-xdso</value>
</property>
<!-- 指定RM的名字 -->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!-- 分別指定RM的地址 -->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>10.15.250.196</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>10.15.250.220</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address.rm1</name>
<value>10.15.250.196:8088</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address.rm2</name>
<value>10.15.250.220:8088</value>
</property>
<!-- 指定zk集群地址 -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>10.15.250.196:2181,10.15.250.202:2181,10.15.250.220:2181</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 開啟日志聚合 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>86400</value>
</property>
<!-- 啟用自動(dòng)恢復(fù) -->
<property>
<name>yarn.resourcemanager.recovery.enabled</name>
<value>true</value>
</property>
<!-- 制定resourcemanager的狀態(tài)信息存儲(chǔ)在zookeeper集群上 -->
<property>
<name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
<!-- Whether virtual memory limits will be enforced for containers. -->
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>3</value>
</property>

vim workers

10.15.250.196
10.15.250.202
10.15.250.220

4. copy到其他節(jié)點(diǎn)。

cd /opt
scp -r hadoop-3.2.4/ root@hadoop101:`pwd`
scp -r hadoop-3.2.4/ root@hadoop101:`pwd`

5.三臺(tái)機(jī)器全部配置環(huán)境變量。

#hadoop
export HADOOP_HOME=/opt/hadoop-3.2.4
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etcprofile

6. 進(jìn)行初始化，啟動(dòng)。

啟動(dòng)zk

三臺(tái)機(jī)器全部執(zhí)行

zkServer.sh start

在node01執(zhí)行格式化NameNode 。

 hdfs namenode -format

在node01執(zhí)行啟動(dòng)hdfs

 start-dfs.sh

在node01執(zhí)行啟動(dòng)yarn

start-yarn.sh
mr-jobhistory-daemon.sh start historyserver

7. 檢驗(yàn)

jps 測試環(huán)境搭建整套大數(shù)據(jù)系統(tǒng)（三：搭建集群zookeeper，hdfs，mapreduce，yarn，hive）,大數(shù)據(jù)項(xiàng)目,zookeeper,hdfs,mapreduce,hive

登錄頁面查看
測試環(huán)境搭建整套大數(shù)據(jù)系統(tǒng)（三：搭建集群zookeeper，hdfs，mapreduce，yarn，hive）,大數(shù)據(jù)項(xiàng)目,zookeeper,hdfs,mapreduce,hive

三：搭建hive

1. 提前安裝mysql。

https://blog.csdn.net/weixin_43446246/article/details/135953602

2. 下載，解壓hive。

wget https://dlcdn.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz
tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt

3. 配置文件

修改環(huán)境配置腳本文件 hive-env.sh

 cd /opt/apache-hive-3.1.2-bin/conf/
 cp hive-env.sh.template hive-env.sh
 vim hive-env.sh

HADOOP_HOME=/opt/hadoop-3.2.4/
export HIVE_CONF_DIR=/opt/apache-hive-3.1.2-bin/conf
export HIVE_AUX_JARS_PATH=/opt/apache-hive-3.1.2-bin/lib

修改配置文件 hive-site.xml

 cp hive-default.xml.template hive-site.xml
 vim hive-site.xml

<!-- 數(shù)據(jù)庫相關(guān)配置 -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://10.15.250.196:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.cj.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
<!-- 自動(dòng)創(chuàng)建表 -->
<property>
<name>datanucleus.schema.autoCreateAll</name>
<value>true</value>
</property>
<!-- 強(qiáng)制 MetaStore 的 schema 一致性，開啟的話會(huì)校驗(yàn)在 MetaStore 中存儲(chǔ)的信息的版本和 Hive 的 jar 包中的版本一致性，并且關(guān)閉自動(dòng)
schema 遷移，用戶必須手動(dòng)的升級(jí) Hive 并且遷移 schema。關(guān)閉的話只會(huì)在版本不一致時(shí)給出警告，默認(rèn)是 false 不開啟 -->
<!-- 元數(shù)據(jù)校驗(yàn) -->
<property>
<name>hive.metastore.schema.verification</name>
<!-- MySQL8 這里一定要設(shè)置為 true，不然后面 DROP TABLE 可能會(huì)出現(xiàn)卡住的情況 -->
<value>true</value>
</property>
<!-- 美化打印數(shù)據(jù) -->
<!-- 是否顯示表名與列名，默認(rèn)值為 false -->
<property>
<name>hive.cli.print.header</name>
<value>true</value>
</property>
<!-- 是否顯示數(shù)據(jù)庫名，默認(rèn)值為 false -->
<property>
<name>hive.cli.print.current.db</name>
<value>true</value>
</property>
<!-- Hive 數(shù)據(jù)倉庫的位置（HDFS 中的位置） -->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/hive/warehouse</value>
</property>
<!-- HiveServer2 通過 Thrift 訪問 MetaStore -->
<!-- 配置 Thrift 服務(wù)綁定的服務(wù)器地址，默認(rèn)為 127.0.0.1 -->
<!--
<property>
<name>hive.server2.thrift.bind.host</name>
<value>127.0.0.1</value>
</property>
-->
<!-- 配置 Thrift 服務(wù)監(jiān)聽的端口，默認(rèn)為 10000 -->
<!--
<property>
<name>hive.server2.thrift.port</name>
<value>10000</value>
</property>
-->
<!-- HiveServer2 的 WEBUI -->
<property>
<name>hive.server2.webui.host</name>
<value>10.15.250.196</value>
</property>
<property>
<name>hive.server2.webui.port</name>
<value>10002</value>
</property>
<!-- 指定 hive.metastore.uris 的 port，為了啟動(dòng) MetaStore 服務(wù)的時(shí)候不用指定端口 -->
<!-- hive ==service metastore -p 9083 & | hive ==service metastore -->
<property>
<name>hive.metastore.uris</name>
<value>thrift://10.15.250.196:9083</value>
</property>

配置日志組件，

mkdir /opt/apache-hive-3.1.2-bin/logs
cp hive-log4j2.properties.template hive-log4j2.properties
vim hive-log4j2.properties
　將 property.hive.log.dir = ${sys:java.io.tmpdir}/${sys:user.name} 替換為
property.hive.log.dir = /opt/yjx/apache-hive-3.1.2-bin/logs

添加驅(qū)動(dòng)包
將mysql驅(qū)動(dòng)包，放到對(duì)應(yīng)的目錄下。

mv mysql-connector-java-8.0.18.jar /opt/apache-hive-3.1.2-bin/lib/

jar包沖突

cp /opt/hadoop-3.2.4/share/hadoop/common/lib/guava-27.0-jre.jar /opt/apache-hive-3.1.2-bin/lib/
rm /opt/apache-hive-3.1.2-bin/lib/guava-19.0.jar

5.copy到其他服務(wù)器上，三臺(tái)配置環(huán)境變量。

cd /opt/
scp apache-hive-3.1.2-bin/ root@hadoop101:`pwd`
scp apache-hive-3.1.2-bin/ root@hadoop102:`pwd`

三臺(tái)機(jī)器配置環(huán)境變量文章來源地址http://www.zghlxwxcb.cn/news/detail-829185.html

vim /etc/profile
#hive
export HIVE_HOME=/opt/apache-hive-3.1.2-bin
export PATH=$HIVE_HOME/bin:$PATH

6. 初始化。

檢查mysql是否啟動(dòng)。
啟動(dòng) ZooKeeper（三臺(tái)機(jī)器都需要執(zhí)行）。
啟動(dòng) HDFS + YARN。

start-all.sh

啟動(dòng) JobHistory。

mapred --daemon start historyserver

初始化 hive 數(shù)據(jù)庫（第一次啟動(dòng)時(shí)執(zhí)行）。

schematool -dbType mysql -initSchema

啟動(dòng)hive。

nohup hive --service metastore > /dev/null 2>&1 &
nohup hiveserver2 > /dev/null 2>&1 &

到了這里，關(guān)于測試環(huán)境搭建整套大數(shù)據(jù)系統(tǒng)（三：搭建集群zookeeper，hdfs，mapreduce，yarn，hive）的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來自互聯(lián)網(wǎng)用戶投稿，該文觀點(diǎn)僅代表作者本人，不代表本站立場。本站僅提供信息存儲(chǔ)空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載，請(qǐng)注明出處：如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符，請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋，一經(jīng)查實(shí)，立即刪除！

分享到：

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

頭歌Hadoop 開發(fā)環(huán)境搭建及HDFS初體驗(yàn)（第2關(guān)：配置開發(fā)環(huán)境 - Hadoop安裝與偽分布式集群搭建）
注： 1 頭歌《Hadoop 開發(fā)環(huán)境搭建及HDFS初體驗(yàn)》三關(guān)在一個(gè)實(shí)驗(yàn)環(huán)境下，需要三關(guān)從前往后按順序評(píng)測，跳關(guān)或者實(shí)驗(yàn)環(huán)境結(jié)束后重新打開不能單獨(dú)評(píng)測通過 2 復(fù)制粘貼請(qǐng)用右鍵粘貼，CTRL+C/V不管用哦~ 第1關(guān)：配置開發(fā)環(huán)境 - JavaJDK的配置：解壓：配置環(huán)境變量：細(xì)節(jié)： vi
2024年02月08日
瀏覽(353)
HBase集群環(huán)境搭建與測試
????【大數(shù)據(jù)學(xué)習(xí)記錄篇】-持續(xù)更新中~???? 個(gè)人主頁：beixi@ 本文章收錄于專欄（點(diǎn)擊傳送）：【大數(shù)據(jù)學(xué)習(xí)】 ????持續(xù)更新中，感謝各位前輩朋友們支持學(xué)習(xí)~???? HBase集群由多個(gè)RegionServer節(jié)點(diǎn)和一個(gè)或多個(gè)HMaster節(jié)點(diǎn)組成。HMaster節(jié)點(diǎn)負(fù)責(zé)管理元數(shù)據(jù)（例如表的位置、
2024年02月10日
瀏覽(85)
頭歌大數(shù)據(jù)作業(yè)二：搭建Hadoop環(huán)境及HDFS
課外作業(yè)二：搭建Hadoop環(huán)境及HDFS 作業(yè)詳情內(nèi)容阿里云-云起實(shí)驗(yàn)室-《搭建Hadoop環(huán)境》-Hadoop-2.10.1偽分布式： 1.截圖本實(shí)驗(yàn)ECS的公網(wǎng)IP地址，并添加彩色框標(biāo)注，如下圖所示： 2.步驟6.啟動(dòng)Hadoop成功之后，截圖并添加彩色框標(biāo)注，如下圖所示 3.hdfs 根目錄創(chuàng)建文件夾（文件夾命
2024年02月08日
瀏覽(26)
Ansible環(huán)境搭建，CentOS 系列操作系統(tǒng)搭建Ansible集群環(huán)境
Ansible是一種自動(dòng)化工具，基于Python寫的，原理什么的就不過多再說了，詳情參考：https://www.itwk.cc/post/403.html https://blog.csdn.net/qq_34185638/article/details/131079320?spm=1001.2014.3001.5502 HOSTNAME IP OS master.example.com 10.5.5.132 CentOS Stream 8 Mini Install node1.example.com 10.5.5.133 CentOS Stream 8 Mini Install n
2024年02月14日
瀏覽(22)
大數(shù)據(jù)集群搭建全部過程（Vmware虛擬機(jī)、hadoop、zookeeper、hive、flume、hbase、spark、yarn）
1.網(wǎng)關(guān)配置（參照文檔）注意事項(xiàng)：第一臺(tái)虛擬機(jī)改了，改為centos 101 ，地址為192.168.181.130 網(wǎng)關(guān)依然是192.168.181.2,但是一定要注意，它在D盤的文件名稱是Hadoop 101,后面重新搭建的會(huì)命名文件夾為hadoop 101,hadoop 102和hadoop 103,然后發(fā)到一個(gè)總的文件夾hadoop_03里面去 VMnet8的IP地址一定
2024年02月02日
瀏覽(29)
Zookeeper集群搭建記錄 | 云計(jì)算[CentOS7] | Zookeeper集群搭建
本系列文章索引以及一些默認(rèn)好的條件在傳送門在配置Zookeeper之前，建議先配置Hadoop集群，具體的操作流程博主已更新完成，鏈接 Zookeeper的安裝包版本不太相同，大致分為有編譯過的和沒有編譯過的（如有錯(cuò)請(qǐng)留言指正一般情況下對(duì)于我們?cè)诮鈮号渲镁湍苁褂玫那闆r下，我
2024年02月01日
瀏覽(122)
【Hadoop】-HDFS集群環(huán)境部署[2]
目錄一、VMware虛擬機(jī)中部署 1、安裝包下載 2、集群規(guī)劃 3、上傳解壓 3.1.上傳hadoop安裝包到node1節(jié)點(diǎn)中 3.2.解壓縮安裝包到/export/server/中 3.3.構(gòu)建軟連接 4、進(jìn)入hadoop安裝包內(nèi) 4.1Hadoop安裝包目錄結(jié)構(gòu) 4.2修改配置文件，應(yīng)用自定義設(shè)置 4.2.1.配置workers文件 4.2.2.配置hadoop-env.sh文件
2024年04月27日
瀏覽(93)
大數(shù)據(jù)組件-Flume集群環(huán)境搭建
????【大數(shù)據(jù)學(xué)習(xí)記錄篇】-持續(xù)更新中~???? 個(gè)人主頁：beixi@ 本文章收錄于專欄（點(diǎn)擊傳送）：【大數(shù)據(jù)學(xué)習(xí)】 ????持續(xù)更新中，感謝各位前輩朋友們支持學(xué)習(xí)~???? Flume是一個(gè)分布式、可靠和高可用性的數(shù)據(jù)采集工具，用于將大量數(shù)據(jù)從各種源采集到Hadoop生態(tài)系統(tǒng)中
2024年02月10日
瀏覽(99)
Linux CentOS下大數(shù)據(jù)環(huán)境搭建（zookeeper+hadoop+hbase+spark+scala）
本篇文章是結(jié)合我個(gè)人學(xué)習(xí)經(jīng)歷所寫，如果遇到什么問題或者我有什么錯(cuò)誤，歡迎討論。百度網(wǎng)盤鏈接：https://pan.baidu.com/s/1DCkQQVYqYHYtPws9hWGpgw?pwd=zh1y 提取碼：zh1y 軟件在連接中VMwareWorkstation_V16.2.1_XiTongZhiJia的文件夾下。雙擊運(yùn)行安裝包，這里下一步即可。這里勾選我接受許可
2024年04月15日
瀏覽(62)
Zookeeper 和 Kafka 工作原理及如何搭建 Zookeeper集群 + Kafka集群
目錄 1 Zookeeper 1.1 Zookeeper 定義 1.2 Zookeeper 工作機(jī)制 1.3 Zookeeper 特點(diǎn) 1.4 Zookeeper 數(shù)據(jù)結(jié)構(gòu) 1.5 Zookeeper 應(yīng)用場景 1.6 Zookeeper 選舉機(jī)制 2 部署 Zookeeper 集群 2.1 安裝前準(zhǔn)備 2.2 安裝 Zookeeper 3 Kafka 3.1 為什么需要消息隊(duì)列（MQ） 3.2 使用消息隊(duì)列的好處 3.3 消息隊(duì)列的兩種模式 3.4 Kafka 定義
2024年02月08日
瀏覽(50)

<s id="uevbr"><progress id="uevbr"><small id="uevbr"></small></progress></s>