本文從安裝好新虛擬機(jī)開始介紹

1.基礎(chǔ)環(huán)境配置

1.1靜態(tài)ip

vim /etc/sysconfig/network-scripts/ifcfg-ens33

BOOTPROTO="static"

IPADDR="192.168.88.11"
GATEWAY="192.168.88.2"
NETMASK="255.255.255.0"
DNS="192.168.88.2"

1.2配置hosts

vim /etc/hosts

192.168.88.11 node1
192.168.88.12 node2
192.168.88.13 node3

1.3配置主機(jī)名

hostnamectl set-hostname node1

1.4關(guān)閉防火墻

systemctl stop firewalld

systemctl disable firewalld

1.5關(guān)閉selinux

setenforce 0

vim /etc/sysconfig/selinux

改成

SELINUX=disabled

1.6配置ssh免密登錄

ssh-keygen -t rsa

cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

基礎(chǔ)配置詳細(xì)（帶截圖）可以看我的Hadoop和hbase偽分布式模式配置一文。這里不再詳細(xì)展開，接下來轉(zhuǎn)到tabby連接上并上傳jdk、hadoop和hbase，同樣不再贅述。解壓、改名，詳見上一篇文章，這里只截取環(huán)境變量配置好的圖片。

1.7jdk解壓、改名

mkdir -p /export/server

解壓jdk：

tar -zxvf /usr/local/jdk-8u401-linux-x64.tar.gz -C /export/server/

改名jdk：

mv /export/server/jdk1.8.0_401 /export/server/jdk

1.8配置并應(yīng)用環(huán)境變量

vim /etc/profile

export JAVA_HOME=/export/server/jdk
export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile

到此為止可以把這臺虛擬機(jī)克隆兩份了，分別叫node2和node3，注意要放到不同的文件夾下。

node3同理

2.克隆之后的修改（兩臺同時修改，不要弄混）

2.1改主機(jī)名（是幾改幾）

hostnamectl set-hostname node2

hostnamectl set-hostname node3

2.2修改靜態(tài)ip

三臺虛擬機(jī)的ip不能相同，最后一位改下就行，別忘了出來重啟下網(wǎng)卡

vim /etc/sysconfig/network-scripts/ifcfg-ens33

systemctl restart network

3.hadoop完全分布式配置

3.1解壓、改名和配置、應(yīng)用環(huán)境變量

解壓hadoop：

tar -zxvf /usr/local/hadoop-2.7.7.tar.gz -C /usr/local/

改名hadoop：

mv /usr/local/hadoop-2.7.7 /usr/local/hadoop

vim /etc/profile

export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

source /etc/profile

3.2配置hadoop-env.sh

vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/export/server/jdk

3.3配置core-site.xml

vim /usr/local/hadoop/etc/hadoop/core-site.xml

 <property>
? <!--主機(jī)映射名-->
? <name>fs.defaultFS</name>
? <value>hdfs://node1:9000</value>
?</property>

?<property>
? <name>hadoop.tmp.dir</name>
? <value>/usr/local/hadoop/tmp</value>
?</property>

3.4配置hdfs-site.xml

vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

 <property>
? <name>dfs.replication</name>
? <value>3</value>
?</property>

?<property>
? <!--主機(jī)映射名-->
? <name>dfs.namenode.secondary.http-address</name>
? <value>node3:50090</value>
?</property>

3.5配置mapred-env.sh

vim /usr/local/hadoop/etc/hadoop/mapred-env.sh

export JAVA_HOME=/export/server/jdk

3.6配置mapred-site.xml

配置前先復(fù)制一份（因?yàn)闆]有）

cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml

vim /usr/local/hadoop/etc/hadoop/mapred-site.xml

 <property>
? <name>mapreduce.framework.name</name>
? <value>yarn</value>
?</property>

3.7配置yarn-env.sh

vim /usr/local/hadoop/etc/hadoop/yarn-env.sh

export JAVA_HOME=/export/server/jdk

3.8配置yarn-site.xml

vim /usr/local/hadoop/etc/hadoop/yarn-site.xml

 <property>
? <name>yarn.nodemanager.aux-services</name>
? <value>mapreduce_shuffle</value>
?</property>

?<property>
? <name>yarn.resourcemanager.hostname</name>
? <value>node2</value>
?</property>

3.9配置slaves

vim /usr/local/hadoop/etc/hadoop/slaves

node1
node2
node3

3.10把主機(jī)上配好的內(nèi)容分發(fā)到從機(jī)上

scp -r /usr/local/hadoop root@node2:/usr/local

scp -r /usr/local/hadoop root@node3:/usr/local

3.11格式化主機(jī)

只格式化主機(jī)node1，從機(jī)node2和node3不用格式化，格式化前可以打個快照保存一下，防止前面有地方配錯了沒查出來。

hadoop namenode -format

3.12設(shè)置免密鑰并授權(quán)給三臺虛擬機(jī)

三臺都要把下面的代碼輸一遍

ssh-keygen -t rsa

ssh-copy-id -i ~/.ssh/id_rsa.pub node1

ssh-copy-id -i ~/.ssh/id_rsa.pub node2

ssh-copy-id -i ~/.ssh/id_rsa.pub node3

只展示其中一個

3.13開啟主機(jī)和從機(jī)驗(yàn)證

只在主機(jī)（node1）和其中一個從機(jī)（例如node2）輸入命令，從機(jī)之二只開啟不輸命令，先啟動主機(jī)再啟動從機(jī)。

主機(jī)：

start-dfs.sh

從機(jī)：

start-yarn.sh

關(guān)閉同樣是先關(guān)從機(jī)再關(guān)主機(jī)

從機(jī)：

stop-yarn.sh

主機(jī)：

stop-dfs.sh

至此，hadoop完全分布式配置完畢，別忘了打個快照保存一下文章來源地址http://www.zghlxwxcb.cn/news/detail-851653.html

到了這里，關(guān)于HBase完全分布式配置（上）hadoop篇 保姆級教程（近乎零基礎(chǔ)跟著配也能配對）的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！