国产无码综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

<rp id="fvpnj"></rp>

<sup id="fvpnj"></sup>

從零開始的Hadoop學(xué)習(xí)（四）| SSH無(wú)密登錄配置、集群配置

2年前作者：庭前云落分類：Toy博客閱讀(17)違法舉報(bào)

這篇具有很好參考價(jià)值的文章主要介紹了從零開始的Hadoop學(xué)習(xí)（四）| SSH無(wú)密登錄配置、集群配置。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方，請(qǐng)大家不吝賜教，您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問(wèn)。

1. SSH 無(wú)密登錄配置

1.1 配置 ssh

（1）基本語(yǔ)法

ssh 另一臺(tái)電腦的IP地址

（2）ssh 連接時(shí)出現(xiàn) Host key verification failed 的解決方法

[atguigu@hadoop102 ~]$ ssh hadoop103

（3）回退到 hadoop102

[atguigu@hadoop103 ~]$ exit

1.2 無(wú)密鑰配置

（1）免密登錄原理
從零開始的Hadoop學(xué)習(xí)（四）| SSH無(wú)密登錄配置、集群配置,Hadoop,hadoop,學(xué)習(xí),ssh

（2）生成公鑰和私鑰

[atguigu@hadoop102 .ssh]$ pwd
/home/atguigu/.ssh

[atguigu@hadoop102 .ssh]$ ssh-keygen -t rsa

然后敲（三個(gè)回車），就會(huì)生成兩個(gè)文件id_rsa（私鑰）、id_rsa.pub（公鑰）

（3）將公鑰拷貝到要免密登錄的目標(biāo)機(jī)器上

[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop102
[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop103
[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop104

注意：

還需要在hadoop103上采用atguigu賬號(hào)配置一下無(wú)密登錄到hadoop102、hadoop103、hadoop104服務(wù)器上。

還需要在hadoop104上采用atguigu賬號(hào)配置一下無(wú)密登錄到hadoop102、hadoop103、hadoop104服務(wù)器上。

還需要在hadoop102上采用root賬號(hào)，配置一下無(wú)密登錄到hadoop102、hadoop103、hadoop104服務(wù)器上。

1.3 .ssh 文件夾下（~/.ssh）的文件功能解釋

known_hosts	記錄ssh訪問(wèn)過(guò)計(jì)算機(jī)的公鑰（public key）
id_rsa	生成的私鑰
id_rsa.pub	生成的公鑰
authorized_keys	存放授權(quán)過(guò)的無(wú)密登錄服務(wù)器公鑰

2. 集群配置

2.1 集群部署規(guī)劃

注意：

NameNode和SecondaryNameNode不要安裝在同一臺(tái)服務(wù)器
ResourceManager也很消耗內(nèi)存，不要和NameNode、SecondaryNameNode配置在同一臺(tái)機(jī)器上。

	hadoop102	hadoop103	hadoop104
HDFS	NameNodeDataNode	DataNode	SecondaryNameNodeDataNode
YARN	NodeManager	ResourceManagerNodeManager	NodeManager

2.2 配置文件說(shuō)明

Hadoop配置文件分兩類：默認(rèn)配置文件和自定義配置文件，只有用戶想修改某一默認(rèn)配置值時(shí)，才需要修改自定義配置文件，更改相應(yīng)屬性值。

（1）默認(rèn)配置文件：

要獲取的默認(rèn)文件	文件存放在Hadoop的jar包中的位置
[core-default.xml]	hadoop-common-3.1.3.jar/core-default.xml
[hdfs-default.xml]	hadoop-hdfs-3.1.3.jar/hdfs-default.xml
[yarn-default.xml]	hadoop-yarn-common-3.1.3.jar/yarn-default.xml
[mapred-default.xml]	hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml

（2）自定義配置文件：

? core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四個(gè)配置文件存放在$HADOOP_HOME/etc/hadoop這個(gè)路徑上，用戶可以根據(jù)項(xiàng)目需求重新進(jìn)行修改配置。

2.3 配置集群

2.3.1 配置文件

（1）核心配置文件

配置core-site.xml

[atguigu@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop
[atguigu@hadoop102 hadoop]$ vim core-site.xml

文件內(nèi)容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
    </property>

    <!-- 指定hadoop數(shù)據(jù)的存儲(chǔ)目錄 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>

    <!-- 配置HDFS網(wǎng)頁(yè)登錄使用的靜態(tài)用戶為atguigu -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>atguigu</value>
    </property>
</configuration>

（2）HDFS 配置文件

配置hdfs-site.xml

[atguigu@hadoop102 hadoop]$ vim hdfs-site.xml

文件內(nèi)容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- nn web端訪問(wèn)地址-->
	<property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop102:9870</value>
    </property>
	<!-- 2nn web端訪問(wèn)地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:9868</value>
    </property>
</configuration>

（3）YARN 配置文件

配置 yarn-site.xml

[atguigu@hadoop102 hadoop]$ vim yarn-site.xml

文件內(nèi)容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>

    <!-- 環(huán)境變量的繼承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

（4）MapReduce 配置文件

配置 mapred-site.xml

[atguigu@hadoop102 hadoop]$ vim mapred-site.xml

文件內(nèi)容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- 指定MapReduce程序運(yùn)行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

2.3.2 在集群上分發(fā)配置好的 Hadoop 配置文件

[atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc/hadoop/

2.3.3 去103 和 104 上查看文件分發(fā)情況

[atguigu@hadoop103 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml
[atguigu@hadoop104 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml

3. 群起集群

3.1 配置 workers

[atguigu@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

在該文件中增加如下內(nèi)容

hadoop102
hadoop103
hadoop104

注意：該文件中添加的內(nèi)容結(jié)尾不允許有空格，文件中不允許有空行。

同步所有節(jié)點(diǎn)配置文件

[atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc

3.2 啟動(dòng)集群

（1）如果集群是第一次啟動(dòng)，需要在hadoop102節(jié)點(diǎn)格式化NameNode（注意：格式化NameNode，會(huì)產(chǎn)生新的集群id，導(dǎo)致NameNode和DataNode的集群id不一致，集群找不到已往數(shù)據(jù)。如果集群在運(yùn)行過(guò)程中報(bào)錯(cuò)，需要重新格式化NameNode的話，一定要先停止namenode和datanode進(jìn)程，并且要?jiǎng)h除所有機(jī)器的data和logs目錄，然后再進(jìn)行格式化。）

[atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

（2）啟動(dòng)HDFS

[atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

（3）在配置了 ResourceManager的節(jié)點(diǎn)（hadoop103）啟動(dòng)YARN

[atguigu@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

（4）Web端查看HDFS的NameNode

（a）瀏覽器中輸入：http://hadoop102:9870
（b）查看HDFS上存儲(chǔ)的數(shù)據(jù)信息

（5）Web端查看YARN的ResourceManager

（a）瀏覽器中輸入：http://hadoop103:8088
（b）查看YARN上運(yùn)行的Job信息

3.3 集群基本測(cè)試

（1）上傳文件到集群

上傳小文件

[atguigu@hadoop102 ~]$ hadoop fs -mkdir /input
[atguigu@hadoop102 ~]$ hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input

從零開始的Hadoop學(xué)習(xí)（四）| SSH無(wú)密登錄配置、集群配置,Hadoop,hadoop,學(xué)習(xí),ssh

上傳大文件

[atguigu@hadoop102 ~]$ hadoop fs -put /opt/software/jdk-8u212-linux-x64.tar.gz  /

從零開始的Hadoop學(xué)習(xí)（四）| SSH無(wú)密登錄配置、集群配置,Hadoop,hadoop,學(xué)習(xí),ssh

（2）上傳文件后查看文件存放在什么位置

查看 HDFS文件存儲(chǔ)路徑

[atguigu@hadoop102 subdir0]$ pwd
/opt/module/hadoop-3.1.3/data/

查看 HDFS 在磁盤存儲(chǔ)文件內(nèi)容

[atguigu@hadoop102 subdir0]$ cat blk_1073741825
hadoop yarn
hadoop mapreduce 
atguigu
atguigu

（3）拼接

-rw-rw-r–. 1 atguigu atguigu 134217728 5月 23 16:01 blk_1073741836

-rw-rw-r–. 1 atguigu atguigu 1048583 5月 23 16:01 blk_1073741836_1012.meta

-rw-rw-r–. 1 atguigu atguigu 63439959 5月 23 16:01 blk_1073741837

-rw-rw-r–. 1 atguigu atguigu 495635 5月 23 16:01 blk_1073741837_1013.meta

[atguigu@hadoop102 subdir0]$ cat blk_1073741836>>tmp.tar.gz
[atguigu@hadoop102 subdir0]$ cat blk_1073741837>>tmp.tar.gz
[atguigu@hadoop102 subdir0]$ tar -zxvf tmp.tar.gz

（4）下載

[atguigu@hadoop104 software]$ hadoop fs -get /jdk-8u212-linux-x64.tar.gz ./

（5）執(zhí)行 wordcount 程序

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

4. 配置歷史服務(wù)器

為了查看程序的歷史運(yùn)行情況，需要配置一下歷史服務(wù)器。

1）配置 mapred-site.xml

[atguigu@hadoop102 hadoop]$ vim mapred-site.xml

在該文件里面增加如下配置。

<!-- 歷史服務(wù)器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop102:10020</value>
</property>

<!-- 歷史服務(wù)器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
</property>

2）分發(fā)配置

[atguigu@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

3）在 hadoop102 啟動(dòng)歷史服務(wù)器

[atguigu@hadoop102 hadoop]$ mapred --daemon start historyserver

4）查看歷史服務(wù)器是否啟動(dòng)

[atguigu@hadoop102 hadoop]$ jps

5）查看 JobHistory

http://hadoop102:19888/jobhistory
從零開始的Hadoop學(xué)習(xí)（四）| SSH無(wú)密登錄配置、集群配置,Hadoop,hadoop,學(xué)習(xí),ssh

5. 配置日志的聚集

日志聚集概念：應(yīng)用運(yùn)行完成以后，將程序運(yùn)行日志信息上傳到 HDFS 系統(tǒng)上。
從零開始的Hadoop學(xué)習(xí)（四）| SSH無(wú)密登錄配置、集群配置,Hadoop,hadoop,學(xué)習(xí),ssh

日志聚集功能好處：可以方便的查看到程序運(yùn)行詳情，方便開發(fā)調(diào)試。

注意：開啟日志聚集功能，需要重新啟動(dòng) NodeManager、ResourceManager和HistoryServer。

開啟日志聚集功能具體步驟如下：

1）配置 yarn-site.xml

[atguigu@hadoop102 hadoop]$ vim yarn-site.xml

在該文件里面增加如下配置

<!-- 開啟日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 設(shè)置日志聚集服務(wù)器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 設(shè)置日志保留時(shí)間為7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

2）分發(fā)配置

[atguigu@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

3）關(guān)閉 NodeManager、ResourceManager 和 HistoryServer

[atguigu@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh
[atguigu@hadoop103 hadoop-3.1.3]$ mapred --daemon stop historyserver

4）啟動(dòng) NodeManager、ResourceManager 和 HistoryServer

[atguigu@hadoop103 ~]$ start-yarn.sh
[atguigu@hadoop102 ~]$ mapred --daemon start historyserver

5）刪除 HDFS 上已經(jīng)存在的輸出文件

[atguigu@hadoop102 ~]$ hadoop fs -rm -r /output

6）執(zhí)行 WordCount 程序

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

7）查看日志

（1）歷史服務(wù)器地址

http://hadoop102:19888/jobhistory

（2）歷史任務(wù)列表
從零開始的Hadoop學(xué)習(xí)（四）| SSH無(wú)密登錄配置、集群配置,Hadoop,hadoop,學(xué)習(xí),ssh

（3）查看任務(wù)運(yùn)行日志
從零開始的Hadoop學(xué)習(xí)（四）| SSH無(wú)密登錄配置、集群配置,Hadoop,hadoop,學(xué)習(xí),ssh

（4）運(yùn)行日志詳情
從零開始的Hadoop學(xué)習(xí)（四）| SSH無(wú)密登錄配置、集群配置,Hadoop,hadoop,學(xué)習(xí),ssh

6. 集群?jiǎn)?dòng)/停止方式總結(jié)

1）各個(gè)模塊分開啟動(dòng)/停止（配置 ssh 是前提）常用

整體啟動(dòng)/停止 HDFS
```
start-dfs.sh/stop-dfs.sh
```
整體啟動(dòng)/停止 YARN
```
start-yarn.sh/stop-yarn.sh
```

2）各個(gè)服務(wù)組件逐一啟動(dòng)/停止

分別啟動(dòng)/停止 HDFS 組件

hdfs --daemon start.stop namenode/datanode/secondarynamenode

啟動(dòng)/停止 YARN

yarn --daemon start/stop resourcemanager/nodemanager

7. 編寫 Hadoop 集群常用腳本

1）Hadoop 集群?jiǎn)⑼Ｄ_本（包含 HDFS、Yarn、Historyserver）：myhadoop.sh

[atguigu@hadoop102 ~]$ cd /home/atguigu/bin
[atguigu@hadoop102 bin]$ vim myhadoop.sh

輸入如下內(nèi)容

#!/bin/bash

if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi

case $1 in
"start")
        echo " =================== 啟動(dòng) hadoop集群 ==================="

        echo " --------------- 啟動(dòng) hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 啟動(dòng) yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
        echo " --------------- 啟動(dòng) historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 關(guān)閉 hadoop集群 ==================="

        echo " --------------- 關(guān)閉 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 關(guān)閉 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 關(guān)閉 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac

保存后退出，然后賦予腳本執(zhí)行權(quán)限
```
[atguigu@hadoop102 bin]$ chmod +x myhadoop.sh
```

2）查看三臺(tái)服務(wù)器 Java 進(jìn)程腳本：jpsall

[atguigu@hadoop102 ~]$ cd /home/atguigu/bin
[atguigu@hadoop102 bin]$ vim jpsall

輸入如下內(nèi)容

#!/bin/bash

for host in hadoop102 hadoop103 hadoop104
do
        echo =============== $host ===============
        ssh $host jps 
done

保存后退出，然后賦予腳本執(zhí)行權(quán)限
```
[atguigu@hadoop102 bin]$ chmod +x jpsall
```

3）分發(fā)/home/atguigu/bin 目錄，保證自定義腳本在三臺(tái)機(jī)器上都可以使用

[atguigu@hadoop102 ~]$ xsync /home/atguigu/bin/

8. 常用端口號(hào)說(shuō)明

端口名稱	Hadoop2.x	Hadoop3.x
NameNode內(nèi)部通信端口	8020 / 9000	8020 / 9000/9820
NameNode HTTP UI	50070	9870
MapReduce查看執(zhí)行任務(wù)端口	8088	8088
歷史服務(wù)器通信端口	19888	19888

9. 集群時(shí)間同步

如果服務(wù)器在公網(wǎng)環(huán)境（能連接外網(wǎng)），可以不采用集群時(shí)間同步，因?yàn)榉?wù)器會(huì)定期和公網(wǎng)時(shí)間進(jìn)行校準(zhǔn)；

如果服務(wù)器在內(nèi)網(wǎng)環(huán)境，必須要配置集群時(shí)間同步，否則時(shí)間久了，會(huì)產(chǎn)生時(shí)間偏差，導(dǎo)致集群執(zhí)行任務(wù)時(shí)間不同步。

9.1 需求

找一個(gè)機(jī)器，作為時(shí)間服務(wù)器，所有的機(jī)器與這臺(tái)集群時(shí)間進(jìn)行定時(shí)的同步，生產(chǎn)環(huán)境根據(jù)任務(wù)對(duì)時(shí)間的準(zhǔn)確程度要求周期同步，測(cè)試環(huán)境為了盡快看到效果，采用1分鐘同步一次。
從零開始的Hadoop學(xué)習(xí)（四）| SSH無(wú)密登錄配置、集群配置,Hadoop,hadoop,學(xué)習(xí),ssh

9.2 時(shí)間服務(wù)器配置（必須root用戶）

（1）查看所有節(jié)點(diǎn) ntpd 服務(wù)狀態(tài)和開機(jī)自啟動(dòng)狀態(tài)

[atguigu@hadoop102 ~]$ su root
[root@hadoop102 atguigu]# systemctl status ntpd
[root@hadoop102 atguigu]# systemctl start ntpd
[root@hadoop102 atguigu]# systemctl is-enabled ntpd

（2）修改 hadoop102 的 ntp.conf 配置文件

[root@hadoop102 atguigu]# vim /etc/ntp.conf

修改內(nèi)容如下：

（a）修改1（授權(quán)192.168.10.0-192.168.10.255網(wǎng)段上的所有機(jī)器可以從這臺(tái)機(jī)器上查詢和同步時(shí)間）
```
#restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap

為restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap
```

（b）修改2（集群在局域網(wǎng)中，不使用其他互聯(lián)網(wǎng)上的時(shí)間）

server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst

為

#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

（c）添加3（當(dāng)該節(jié)點(diǎn)丟失網(wǎng)絡(luò)連接，依然可以采用本地時(shí)間作為時(shí)間服務(wù)器為集群中的其他節(jié)點(diǎn)提供時(shí)間同步）
```
server 127.127.1.0
fudge 127.127.1.0 stratum 10
```

（3）修改 hadoop102 的/etc/sysconfig/ntpd 文件

[root@hadoop102 ~]# vim /etc/sysconfig/ntpd

增加內(nèi)容如下（讓硬件時(shí)間與系統(tǒng)時(shí)間一起同步）

SYNC_HWCLOCK=yes

（4）重新啟動(dòng) ntpd 服務(wù)

[root@hadoop102 ~]# systemctl start ntpd

（5）設(shè)置ntpd服務(wù)開機(jī)啟動(dòng)

[root@hadoop102 ~]#systemctl enable ntpd

9.3 其他機(jī)器配置（必須root用戶）

（1）關(guān)閉所有節(jié)點(diǎn)上 ntp 服務(wù)和自啟動(dòng)

[atguigu@hadoop102 ~]$ su root
[root@hadoop103 ~]# systemctl stop ntpd
[root@hadoop103 ~]# systemctl disable ntpd
[root@hadoop104 ~]# systemctl stop ntpd
[root@hadoop104 ~]# systemctl disable ntpd

（2）在其他機(jī)器上配置 1 分鐘與時(shí)間服務(wù)器同步一次

[root@hadoop103 ~]# crontab -e

編寫定時(shí)任務(wù)如下：

*/1 * * * * /usr/sbin/ntpdate hadoop102

（3）修改任意機(jī)器時(shí)間

[root@hadoop103 ~]# date -s "2021-9-11 11:11:11"

（4）1 分鐘后查看機(jī)器是否與時(shí)間服務(wù)器同步

[root@hadoop103 ~]# date

10. 常見(jiàn)錯(cuò)誤及解決方案

1）防火墻沒(méi)關(guān)閉、或者沒(méi)有啟動(dòng)YARN

INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032

2）主機(jī)名稱配置錯(cuò)誤

3）IP地址配置錯(cuò)誤

4）ssh沒(méi)有配置好

5）root用戶和atguigu兩個(gè)用戶啟動(dòng)集群不統(tǒng)一

6）配置文件修改不細(xì)心

7）不識(shí)別主機(jī)名稱

java.net.UnknownHostException: hadoop102: hadoop102
        at java.net.InetAddress.getLocalHost(InetAddress.java:1475)
        at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:146)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)
        at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)

解決辦法：

（1）在/etc/hosts文件中添加192.168.10.102 hadoop102
（2）主機(jī)名稱不要起hadoop hadoop000等特殊名稱

8）DataNode和NameNode進(jìn)程同時(shí)只能工作一個(gè)。
從零開始的Hadoop學(xué)習(xí)（四）| SSH無(wú)密登錄配置、集群配置,Hadoop,hadoop,學(xué)習(xí),ssh

9）執(zhí)行命令不生效，粘貼Word中命令時(shí)，遇到-和長(zhǎng)–沒(méi)區(qū)分開。導(dǎo)致命令失效

解決辦法：盡量不要粘貼Word中代碼。

10）jps發(fā)現(xiàn)進(jìn)程已經(jīng)沒(méi)有，但是重新啟動(dòng)集群，提示進(jìn)程已經(jīng)開啟。

原因是在Linux的根目錄下/tmp目錄中存在啟動(dòng)的進(jìn)程臨時(shí)文件，將集群相關(guān)進(jìn)程刪除掉，再重新啟動(dòng)集群。

11）jps不生效

原因：全局變量hadoop java沒(méi)有生效。解決辦法：需要source /etc/profile文件。

12）8088端口連接不上

[atguigu@hadoop102 桌面]$ cat /etc/hosts

注釋掉如下代碼

#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

#::1 hadoop102文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-681144.html

到了這里，關(guān)于從零開始的Hadoop學(xué)習(xí)（四）| SSH無(wú)密登錄配置、集群配置的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來(lái)自互聯(lián)網(wǎng)用戶投稿，該文觀點(diǎn)僅代表作者本人，不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載，請(qǐng)注明出處：如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符，請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋，一經(jīng)查實(shí)，立即刪除！

分享到：

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

從零開始在 Linux 上搭建 Hadoop 平臺(tái)：一個(gè)詳細(xì)的教程和必備配置文件
在信息時(shí)代，大數(shù)據(jù)處理是企業(yè)發(fā)展必不可少的一部分。Hadoop 是一種分布式計(jì)算平臺(tái)，能夠高效地處理大數(shù)據(jù)集。然而，搭建 Hadoop 集群可以相當(dāng)復(fù)雜，需要正確配置和調(diào)整多個(gè)組件。本文將向您展示如何從零開始在 Linux 上搭建 Hadoop，以及如何配置 Hadoop 的必備文件。選擇
2024年02月08日
瀏覽(21)
從零開始Hadoop安裝和配置，圖文手把手教你，定位錯(cuò)誤（已部署成功）
既然你選擇自己配置了，那么我想想和你聊一聊，相信我這對(duì)你整體配置Hadoop流程會(huì)有一個(gè)跟全面的了解，我們拋開繁雜的學(xué)術(shù)名詞，其實(shí)就是要實(shí)現(xiàn)我一個(gè)任務(wù)可以在多個(gè)電腦上跑的過(guò)程（分散算力），那交給我們應(yīng)該如果來(lái)搞？我們是不是要對(duì)我們的虛擬機(jī)先分配地址（
2024年02月06日
瀏覽(36)
從零開始的Hadoop學(xué)習(xí)（五）| HDFS概述、shell操作、API操作
1.1 HDFS 產(chǎn)出背景及定義 1） HDFS 產(chǎn)生背景隨著數(shù)據(jù)量越來(lái)越大，在一個(gè)操作系統(tǒng)存不下所有的數(shù)據(jù)，那么就分配到更多的操作系統(tǒng)管理的磁盤中，但是不方便管理和維護(hù)，迫切需要一種系統(tǒng)來(lái)管理多臺(tái)機(jī)器上的文件，這就是分布式文件管理系統(tǒng)。 HDFS只是分布式文件管理系統(tǒng)
2024年02月10日
瀏覽(94)
集群部署專題之一：詳解集群間SSH無(wú)密碼登錄配置步驟
一、SSH簡(jiǎn)介 SSH（Secure Shell）是一種網(wǎng)絡(luò)安全協(xié)議，通過(guò)加密和認(rèn)證機(jī)制實(shí)現(xiàn)安全訪問(wèn)和文件傳輸?shù)葮I(yè)務(wù)。傳統(tǒng)遠(yuǎn)程登錄和文件傳輸方式有Telnet或FTP，這兩種方式都使用明文傳輸數(shù)據(jù)，存在很多安全隱患。SSH采用加密傳輸數(shù)據(jù)、提升認(rèn)證強(qiáng)度等手段，克服了Telnet和FTP應(yīng)用中的安
2024年02月10日
瀏覽(19)
基于Windows系統(tǒng)的Hadoop偽分布式模式部署-從零開始(我的學(xué)習(xí)記錄)
目錄前言一.JDK的下載安裝配置 1.JDK 下載 2.JDK 安裝 3.JDK 環(huán)境變量配置 4.驗(yàn)證JDK安裝是否成功 5.重點(diǎn)? 二.Hadoop部署以及工具集winutils 1.下載Hadoop解壓/下載winutils以及\\\"安裝\\\" ? ? ? ? 下載Hadoop和winutils ????????\\\"安裝\\\"winutils 2.配置Hadoop環(huán)境變量/配置Hadoop文件 Hadoop配置環(huán)境變量
2024年04月13日
瀏覽(30)
ASP.NET Core 8.0 WebApi 從零開始學(xué)習(xí)JWT登錄認(rèn)證
我一起寫后端Api我都是直接裸連的，但是現(xiàn)在為了規(guī)范一些，我還是打算上一個(gè)JWT功能 ASP.NET Web API 2系列(四)：基于JWT的token身份認(rèn)證方案 Jwt-dotnet github 選好了模板，就進(jìn)去看看號(hào)了，42M的下載量已經(jīng)很高了，一般來(lái)說(shuō)，只要超過(guò)500k的下載量，基本就是一個(gè)穩(wěn)定的代碼倉(cāng)庫(kù)了
2024年04月09日
瀏覽(24)
從零開始的Hadoop學(xué)習(xí)（六）| HDFS讀寫流程、NN和2NN工作機(jī)制、DataNode工作機(jī)制
1.1 HDFS寫數(shù)據(jù)流程 1.1.1 剖析文件寫入（1）客戶端通過(guò) Distributed FileSystem 模塊向 NameNode 請(qǐng)求上傳文件，NameNode檢查目標(biāo)文件是否已存在，父目錄是否存在。（2）NameNode 返回是否可以上傳。（3）客戶端請(qǐng)求第一個(gè) Block 上傳到哪幾個(gè) DataNode 服務(wù)上。（4）NameNode 返回 3個(gè) DataN
2024年02月10日
瀏覽(22)
【W(wǎng)eb項(xiàng)目實(shí)戰(zhàn)】從零開始學(xué)習(xí)Web自動(dòng)化測(cè)試：用Python和Selenium實(shí)現(xiàn)網(wǎng)站登錄功能
B站首推！2023最詳細(xì)自動(dòng)化測(cè)試合集，小白皆可掌握，讓測(cè)試變得簡(jiǎn)單、快捷、可靠 https://www.bilibili.com/video/BV1ua4y1V7Db 目錄 1.環(huán)境搭建
2024年02月06日
瀏覽(47)
跟我一起從零開始學(xué)python（十）Hadoop從零開始入門
回顧之前講了python語(yǔ)法編程，必修入門基礎(chǔ)和網(wǎng)絡(luò)編程，多線程/多進(jìn)程/協(xié)程等方面的內(nèi)容，后續(xù)講到了數(shù)據(jù)庫(kù)編程篇MySQL，Redis，MongoDB篇，和機(jī)器學(xué)習(xí)，全棧開發(fā)，數(shù)據(jù)分析前面沒(méi)看的也不用往前翻，系列文已經(jīng)整理好了： 1.跟我一起從零開始學(xué)python（一）編程語(yǔ)法必修
2024年02月11日
瀏覽(24)
從零開始配置深度學(xué)習(xí)環(huán)境：CUDA+Anaconda+Pytorch+TensorFlow
本文適用于電腦有GPU（顯卡）的同學(xué)，沒(méi)有的話直接安裝cpu版是簡(jiǎn)單的。CUDA是系統(tǒng)調(diào)用GPU所必須的，所以教程從安裝CUDA開始。可以配合視頻教程食用：https://www.bilibili.com/video/BV12m4y1m7pq/?vd_source=06e4e8652ea90d79dadb7a59ff8acd36 CUDA是加速深度學(xué)習(xí)計(jì)算的工具，誕生于NVIDIA公司，是一
2023年04月14日
瀏覽(89)

<rp id="gd833"><u id="gd833"><listing id="gd833"></listing></u></rp>