国产无码综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

hadoop完全分布式

2年前作者：gudeman分類：Toy博客閱讀(29)違法舉報(bào)

這篇具有很好參考價(jià)值的文章主要介紹了hadoop完全分布式。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方，請(qǐng)大家不吝賜教，您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

準(zhǔn)備工作

三臺(tái)虛擬機(jī)，關(guān)閉防火墻，關(guān)閉selinux

查看防火狀態(tài) systemctl status firewalld

暫時(shí)關(guān)閉防火墻 systemctl stop firewalld

永久關(guān)閉防火墻 systemctl disable firewalld

查看 selinux狀態(tài) getenforce

暫時(shí)關(guān)閉 selinux setenforce 0

永久關(guān)閉 selinux 在/etc/selinux/config文件中將SELINUX改為disabled

修改主機(jī)名：hostnamectl set-hostname 主機(jī)名稱

修改映射文件/etc/hosts 使得三臺(tái)主機(jī)可以互ping

hadoop完全分布式

配置ssh免密登錄

ssh-keygen -t rsa 生成私鑰與公鑰

?文章來源地址http://www.zghlxwxcb.cn/news/detail-411654.html

hadoop完全分布式

?ssh-copy-id hadoop01 將公鑰復(fù)制到需要遠(yuǎn)程連接的機(jī)器上?

注意：也需要分發(fā)給自己，否則啟動(dòng)hadoop進(jìn)程的時(shí)候會(huì)要求輸入密碼

hadoop完全分布式

解壓jdk與hadoop壓縮包解壓到/usr/local/src/目錄下

hadoop完全分布式

? hadoop完全分布式

配置jdk與Hadoop環(huán)境變量

如果覺得環(huán)境變量太長可以把后面的版本號(hào)刪除

?在/etc/profile文件中修改配置文件

hadoop完全分布式

修改Hadoop配置文件

evn文件? ??hadoop-env.sh　　yarn-env.sh　　mapred-env.sh

在env.sh中配置java環(huán)境

注意：三個(gè)env文件中都要配置java，否則無法啟動(dòng)集群

配置HDFS相關(guān)文件

配置core-site.xml

<configuration>
  <property>    <!-- 指定HDFS中NameNode的地址 -->
     <name>fs.defaultFS</name>
     <value>hdfs://master:9000</value>
  </property>
  <property>    <!-- 指定Hadoop運(yùn)行時(shí)產(chǎn)生文件的存儲(chǔ)目錄 -->
     <name>hadoop.tmp.dir</name>
     <value>/usr/local/src/hadoop/data/tmp</value>
  </property>
</configuration>

配置hdfs-site.xml

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>4</value>
        </property>
            <property>
                <name>dfs.namenode.name.dir</name>
                <value>/usr/local/src/hadoop/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/usr/local/src/hadoop/data</value>
        </property>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>slave2:50090</value>
        </property>
</configuration>

配置yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn-resourcemanager.hostname</name>
                <value>slave1</value>
        </property>
</configuration>

配置mapred-site.xml

<configuration>
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
</configuration>

配置slave文件? 寫入其他主機(jī)名稱

hadoop完全分布式

?全部配置完之后分發(fā)給其他集群

hadoop完全分布式

?scp命令說明??

-r是傳輸文件夾，如果只是傳輸文件，可以不需要加-r

root是傳輸給root用戶，如果要傳輸給其他用戶也可以修改為其他用戶的名稱

@后面加主機(jī)名 hadoop02是主機(jī)名

：后面加傳輸?shù)哪夸浵?/p>

格式化NameNode

第一次開啟必須要格式化

注意：如果需要重新格式化，將namenode存放的路徑的目錄刪除即可

[hadoop@hadoop01 hadoop-2.7.2]$ bin/hdfs namenode -format

啟動(dòng)HDFS

在NameNode節(jié)點(diǎn)啟動(dòng)

[hadoop@hadoop01 hadoop-2.7.2]$ sbin/start-dfs.sh

[hadoop@hadoop01 hadoop-2.7.2]$ jps

啟動(dòng)Yarn

在Resourcemanager節(jié)點(diǎn)啟動(dòng)

[hadoop@hadoop02 hadoop-2.7.2]$ sbin/start-yarn.sh

[hadoop@hadoop02 hadoop-2.7.2]$ jps

使用jps查看進(jìn)程與節(jié)點(diǎn)是否對(duì)應(yīng)

?	hadoop01 192.168.112.101	hadoop02 192.168.112.102	hadoop03 192.168.112.103
HDFS	NameNode DataNode	DataNode	SecondaryNameNode DataNode
YARN	NodeManager	ResourceManager NodeManager	NodeManager

hadoop01 192.168.112.101

hadoop02 192.168.112.102

hadoop03 192.168.112.103

HDFS

NameNode

DataNode

SecondaryNameNode

DataNode

YARN

NodeManager

ResourceManager

NodeManager

啟動(dòng)HDFS：start-dfs.sh

啟動(dòng)Yarn：start-yarn.sh

關(guān)閉HDFS：stop-dfs.sh

關(guān)閉Yarn：stop-yarn.sh

?最終全部啟動(dòng)

hadoop完全分布式

到了這里，關(guān)于hadoop完全分布式的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來自互聯(lián)網(wǎng)用戶投稿，該文觀點(diǎn)僅代表作者本人，不代表本站立場。本站僅提供信息存儲(chǔ)空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載，請(qǐng)注明出處：如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符，請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋，一經(jīng)查實(shí)，立即刪除！

分享到：

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

搭建偽分布式集群（克隆三臺(tái)虛擬機(jī)，配置ens33網(wǎng)絡(luò)）
目錄 1 克隆虛擬機(jī) 1.修改主機(jī)名 2.修改UUID 2 配置ens-33網(wǎng)絡(luò) ? ? ? ?同樣的，第三臺(tái)也是重復(fù)操作即可克隆完成三臺(tái)虛擬機(jī)后，由于node02和node03都是由node01克隆來的，所以他們的主機(jī)名和UUID都是一樣的，我們需要修改一下 1.修改主機(jī)名在node01的虛擬機(jī)下，輸入： hostnamectl s
2024年02月06日
瀏覽(47)
hadoop完全分布式
三臺(tái)虛擬機(jī)，關(guān)閉防火墻，關(guān)閉selinux 查看防火狀態(tài) systemctl status firewalld 暫時(shí)關(guān)閉防火墻 systemctl stop firewalld 永久關(guān)閉防火墻 systemctl disable firewalld 查看 selinux狀態(tài) getenforce 暫時(shí)關(guān)閉 selinux setenforce 0 永久關(guān)閉 selinux 在/etc/selinux/config文件中將SELINUX改為disabled 修改主機(jī)名： hostn
2023年04月12日
瀏覽(29)
Hadoop 完全分布式部署
前期準(zhǔn)備分析：準(zhǔn)備3臺(tái)客戶機(jī)（關(guān)閉防火墻、靜態(tài)IP、主機(jī)名稱）【CentOS 7】安裝JDK 【jdk1.8】安裝Hadoop 【hadoop 3.3.4】配置環(huán)境變量配置ssh 配置集群單點(diǎn)啟動(dòng) 群起并測試集群 Hadoop 集群規(guī)劃： node1 node2 node3 IP 10.90.100.121 10.90.100.122 10.90.100.123 HDFS NameNode 、 DataNode DataNode D
2024年03月23日
瀏覽(30)
搭建完全分布式Hadoop
登錄三個(gè)虛擬機(jī) 執(zhí)行命令： vim /etc/hosts 1、上傳安裝包上傳hadoop安裝包查看hadoop安裝包 2、解壓縮安裝包執(zhí)行命令： tar -zxvf hadoop-3.3.4.tar.gz -C /usr/local 查看解壓后的目錄 3、配置環(huán)境變量執(zhí)行命令： vim /etc/profile 存盤退出，執(zhí)行命令： source /etc/profile ，讓配置生效查看had
2024年02月04日
瀏覽(26)
Hadoop完全分布式搭建
1.下載VM 2.下載Centos鏡像 3.下載hadoop 4.下載FinalShell 5.下載jdk文件 ?6.下載hive，數(shù)據(jù)倉庫學(xué)習(xí)大數(shù)據(jù)專業(yè)的用的到 ? ? 注：開啟虛擬機(jī)把鼠標(biāo)放入屏幕點(diǎn)擊后消失，使用鍵盤上下鍵進(jìn)行選擇 ? 注：點(diǎn)擊之后，什么都不動(dòng)，再點(diǎn)擊完成（因?yàn)樗詣?dòng)幫我們分區(qū)了）注：我們配置
2024年02月04日
瀏覽(24)
hadoop平臺(tái)完全分布式搭建
安裝前準(zhǔn)備一、設(shè)置ssh免密登錄 1.編輯hosts文件，添加主機(jī)名映射內(nèi)容 vim ?/etc/hosts 添加內(nèi)容： 172.17.0.2 ?????master 172.17.0.3 ?????slave1 172.17.0.4 ?????slave2 2.生成公鑰和私鑰 ssh-keygen –t rsa 然后按三次回車 3.復(fù)制公鑰到其他容器（包括自己） ssh-copy-id master ssh-copy-id slav
2024年03月17日
瀏覽(30)
Hadoop 完全分布式集群搭建
部署前可以先了解下 Hadoop運(yùn)行模式及目錄結(jié)構(gòu)-CSDN博客服務(wù) hadoop102 hadoop103 hadoop104 NameNode √ DataNode √ √ √ Secondary NameNode √ ResourceManager √ NodeManager √ √ √ JobHistoryServer √ IPv4 192.168.88.102 192.168.88.103 192.168.88.104 NodeObject master worker1 worker2 最小化安裝 Neokylin7.0 用于搭建 Had
2024年02月04日
瀏覽(52)
Hadoop的完全分布式搭建
主機(jī)名 Hadoop10 Hadoop11 Hadoop12 網(wǎng)絡(luò) 192.168.10.10 192.168.10.11 192.168.10.12 用戶 hadoop root hadoop root hadoop root HDFS NameNode DateNode DateNode Secondary NameNode DataNode YARN NodeManager NodeManager ResourceManager NodeManager 安裝虛擬機(jī)系統(tǒng),省略第一步:網(wǎng)卡配置使用 vi 編輯器編輯系統(tǒng)的網(wǎng)卡配置文件,配置以下
2024年02月08日
瀏覽(27)
【Hadoop】完全分布式集群搭建
大家好，我是向陽花花花花，這篇文章是我歷時(shí)三天，推翻重做兩小時(shí)進(jìn)行搭建的Hadoop集群（完全分布式）個(gè)人筆記和感想，收錄于初心的《大數(shù)據(jù)》專欄。 ?? 個(gè)人主頁：初心%個(gè)人主頁 ?? 個(gè)人簡介：大家好，我是初心，一名正在努力的雙非二本院校計(jì)算機(jī)專業(yè)學(xué)生 ??
2024年02月15日
瀏覽(30)
Hadoop完全分布式集群搭建
1.在虛擬機(jī)關(guān)機(jī)的狀態(tài)下選擇克隆 2.開始克隆 3.選擇從當(dāng)前狀態(tài)創(chuàng)建 4.創(chuàng)建一個(gè)完整的克隆 5.選擇新的虛擬機(jī)存儲(chǔ)位置（選擇內(nèi)存充足的磁盤） 6.開始克隆 7.克隆完成 8.同樣的方法克隆第二臺(tái)虛擬機(jī) 9.在計(jì)算機(jī)中存在三臺(tái)虛擬機(jī) 將第一臺(tái)虛擬機(jī)更名為hadoop01 修改hadoop01的主機(jī)
2024年02月02日
瀏覽(23)