hadoop集群簡(jiǎn)介

• hadoop加群包括兩個(gè)集群：hdfs集群，yarn集群
• 兩個(gè)集群邏輯上分離，通常物理上在一起
• 兩個(gè)集群都是標(biāo)準(zhǔn)的主從架構(gòu)集群

• 邏輯上分離：兩個(gè)集群相互之間沒(méi)有依賴，互不影響
• 物理上在一起：某些角色今晚往往部署在同一臺(tái)物理服務(wù)器上
• MapReduce集群呢？
  • MapReduce是計(jì)算框架、代碼層面的組件沒(méi)有集群之說(shuō)
    

hadoop部署模式

Hadoop集群安裝

1.集群角色規(guī)劃

• 角色規(guī)劃的準(zhǔn)則
  • 根據(jù)軟件工作特性和服務(wù)器硬件資源情況合理分配
  • 比如依賴內(nèi)存工作的namanode是不是不花在大內(nèi)存機(jī)器上
• 角色規(guī)劃注意事項(xiàng)
  • 資源上有搶奪沖突的，盡量不要部署在一起
  • 共偶作上需要相互配合的，盡量部署在一起
    

2.服務(wù)器基礎(chǔ)環(huán)境準(zhǔn)備

• 防火墻關(guān)閉(三臺(tái)機(jī)器)
  • systemctl stop firewalld. service #關(guān)閉防火墻
  • systemtl disable firewalld. service #禁止防火墻開(kāi)啟自啟
• ssh免密登錄(node1執(zhí)行—>node1|node2|node3)
  • ssh-keygen #四個(gè)回車 生成公鑰、私鑰
  • ssh-copy-id node1，ssh-cpoy-id node2，ssh-coppy-id node3
• 集群時(shí)間同步(三臺(tái)機(jī)器)
  • yum -y install ntpdata
  • ntpdate ntp2.aliyun.com
• JDK 1.8安裝(三臺(tái)機(jī)器)

3.上傳安裝包

• 創(chuàng)建同一工作目錄(三臺(tái)機(jī)器)
  • mkdir -p /export/server/ #軟件安裝路徑
  • mkdir -p /export/data/ #數(shù)據(jù)安裝路徑
  • mkdir -p /export/softwarw/ #安裝包存放路徑
• 上傳、解壓安裝包

hadoop-3.1.4-bin-snappy-CentOS7.tar.gz
tar zvxf hadoop-3.1.4-bin-snappy-CentOS7.tar.gz -C /export/server

hadoop安裝包目錄結(jié)構(gòu)

5.編輯hadoop配置文件

• hadoop-env.sh
  • cd /esport/server/hadoop-3.1.4/etc/hadoop/
  • vim hadoop-env.sh

• core-site.xml
  • cd /export/server/hadoop-3.1.4/etc/hadoop/
  • vim sore-site.xml

• hafs-site.xml

  • cd /export/server/hadoop-3.1.4/etc/hadoop/
  • vim hdfs-site.xml

• mapred-site.xml

  • cd /export/server/hadoop-3.1.4/etc/hadoop/
  • vim mared-site.xml

• yarn-site.xml

  • cd /export/server/hadoop3.1.4/etc/hadoop
  • vim yarn-site.xml

• workers

  • cd /export/server/hadoop-3.1.4/etc/hadoop
  • vim workers
    

6.分發(fā)安裝包

• 在node1機(jī)器上獎(jiǎng)hadoop安裝包scp同步到其他機(jī)器
  • cd /export/server/
  • scp -r hadoop-3.1.4 root@node2: /export/server/
  • scp -r hadoop-3.1.4 root@node3: /export/server/

7.配置hadoop環(huán)境變量

• 在node1上配置hadoop換件變量
  • vim /etc/profile
  • export HADOOP_HOME=/export/server/hadoop-3.1.4
  • export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/bin
• 將修改后的環(huán)境變量同步到其他機(jī)器
  • scp /etc/profile root@node2:/etc/
  • scp /etc/profile root@node3:/etc/
• 重新加載環(huán)境變量，驗(yàn)證是否生效(三臺(tái)機(jī)器)
  • sourece /etc/profile
  • hadoop #驗(yàn)證是否生效
    

8.NameNode format(格式化操作)

• 首次啟動(dòng)hdfs時(shí)，必須對(duì)齊進(jìn)行格式化操作
• format本質(zhì)上是初始化工作，進(jìn)行hdfs清理和準(zhǔn)備工作
• 命令：hdfs namenode -format

文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-601754.html

• 首次啟動(dòng)之前需要format操作
• format只能進(jìn)行一次，后續(xù)不在需要
• 如果多次format除了造成數(shù)據(jù)丟失外，還會(huì)導(dǎo)致hdfs集群主從角色之間互不識(shí)別，通過(guò)刪除所有機(jī)器hadoop.tmp.dir目錄重新format解決

hadoop集群?jiǎn)?dòng)關(guān)閉-手動(dòng)逐個(gè)進(jìn)程啟停

• 每臺(tái)機(jī)器上每次手動(dòng)啟動(dòng)關(guān)閉一個(gè)角色進(jìn)程
• hdfs集群
  • hafs --daemon start namenode|datanode|decondarynamenoe
  • hafs --daemon stop namenode|datanode|decondarynamenoe
• yarn集群
  • yarn --daemon start resourcemanager|nodemanager
  • yarn --daemon stop resourcemanager|nodemanager

shell腳本一鍵啟停

• 在node1上，使用軟件自帶的shell腳本一鍵啟動(dòng)
• 前提：配置好機(jī)器之間的shh免密登錄和workers文件
• hdfs集群
  • start-dfs.sh
  • stop-dfs.sh
• yarn集群
  • start-yarn.sh
  • stop-yarn.sh
• hadoop集群
  • start-all.sh
  • stop-all.sh
    

到了這里，關(guān)于Hadoop簡(jiǎn)介以及集群搭建詳細(xì)過(guò)程的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！