Hadoop HA安裝部署

? ? ? ? ?本文章使用root用戶完成相關(guān)配置與啟動、這里分為master、slave1、slave2進行配置

????????一、將hadoop解壓至需要的目錄下

? ? ? ? ?二、配置hadoop-env.sh啟動文件

export JAVA_HOME=/opt/module/jdk1.8.0_212
//設(shè)置JDK路徑

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export HDFS_ZKFC_USER=root
//配置root用戶權(quán)限（不配置將無法啟動對應(yīng)的進程）

? ? ? ? 三、配置hdfs-site.xml文件

<property>
    <name>dfs.nameservices</name>
    <value>hadoopcluster</value>
</property>

<!-- namenode存儲目錄 -->
<property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/module/hadoop-2.7.7/namenode</value>
</property>

<!-- datanode存儲目錄 -->
<property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/module/hadoop-2.7.7/datanode</value>
</property>

<property>
    <name>dfs.ha.namenodes.hadoopcluster</name>
    <value>nn1,nn2</value>
</property>

<!-- 指定namenode1 -->
<property>
    <name>dfs.namenode.rpc-address.hadoopcluster.nn1</name>
    <value>master:9000</value>
</property>

<!-- 指定namenode2 -->
<property>
    <name>dfs.namenode.rpc-address.hadoopcluster.nn2</name>
    <value>slave1:9000</value>
</property>

<property>
    <name>dfs.namenode.http-address.hadoopcluster.nn1</name>
    <value>master:50070</value>
</property>

<property>
    <name>dfs.namenode.http-address.hadoopcluster.nn2</name>
    <value>slave1:50070</value>
</property>

<property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>
		qjournal://master:8485;slave1:8485;slave2:8485/lagou
	</value>
</property>

<property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
</property>

<property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
</property>

<property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/opt/module/hadoop-2.7.7/journalnode</value>
</property>

<property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
</property>

????????四、配置core-site.xml文件

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoopcluster</value>
</property>

<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop-2.7.7/tmp</value>
</property>

<property>
    <name>ha.zookeeper.quorum</name>
    <value>master:2181,slave1:2181,slave2:2181</value>
</property>

????????五、配置yarn-site.xml文件

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!--啟?resourcemanager ha-->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <!--聲明兩臺resourcemanager的地址-->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>cluster-yarn</value>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>master</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>slave1</value>
    </property>
    <!--指定zookeeper集群的地址-->
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>master:2181,slave1:2181,slave2:2181</value>
    </property>

????????六、分發(fā)至slave1、slave2

? ? ? ? 配置完成后，將hadoop配置文件分發(fā)至slave1、slave2，這里需要配置ssh免密登入，通過scp進行分發(fā)。詳細見本欄目文章。

? ? ? ? 七、啟動

? ? ? ? ? ? ? ? 1、啟動zookeeper

? ? ? ? ? ? ? ? 在zookeeper目錄下啟動,zookeeper配置請見本人主頁分欄。

./bin/zkServer.sh start

? ? ? ? ? ? ? ? 2、啟動journalnode

????????????????JournalNode是Hadoop集群中的一個組件，用于維護HDFS的命名空間和事務(wù)日志。它通常作為HDFS高可用性功能的一部分，在NameNode和DataNode之間提供一個分布式共享的存儲介質(zhì)，以確保在節(jié)點失效時能夠快速進行故障切換。

hadoop-daemon.sh start journalnode

? ? ? ? ????????3、初始化namenode、ZKfc

? ? ? ? ????????如果已經(jīng)運行過請刪除hadoop目錄下的logs、datanode、namenode的存儲目錄

hdfs namenode -format
//初始化namenode

hdfs zkfc -formatZK
//初始化zkfc

? ? ? ?????????4、slave1上同步namenode

先啟動master上的namenode

hadoop-daemon.sh start namenode

//在slave1上輸入同步namenode
hdfs namenode -bootstrapStandby

?????????????????5、啟動集群

start-all.sh

?該命令需要配置hadoop的全局環(huán)境

????????八、查看三臺機子jps進程情況

?

?

?文章來源地址http://www.zghlxwxcb.cn/news/detail-742011.html

到了這里，關(guān)于Hadoop HA-hadoop完全分布式高可用集群配置、高可用集群啟動方式、master/slave1/slave2配置的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！