国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

CentOS7 Hadoop3.3.0 安裝與配置

這篇具有很好參考價(jià)值的文章主要介紹了CentOS7 Hadoop3.3.0 安裝與配置。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方,請(qǐng)大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

一、安裝JDK

1、創(chuàng)建文件夾tools和training用于存放壓縮包和解壓使用,tools存放壓縮包,training用于解壓后安裝jdk和hadoop的路徑。
1)回到路徑為 / 的位置
cd /

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

2) 創(chuàng)建 tools 和 training
mkdir tools
mkdir training
3) 進(jìn)入tools文件夾
cd tools

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

4) 左邊mobaxterm里面點(diǎn)擊進(jìn)入/tools文件夾,將發(fā)給大家的壓縮包直接鼠標(biāo)拖入進(jìn)去,拖的是tar.gz壓縮包,不要在電腦里面解壓過了!,拖的時(shí)候有進(jìn)度條,上傳完后如圖所示

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

2、JDK解壓
1) 在控制臺(tái)輸入以下命令,將文件解壓至training文件夾,如圖所示,路徑在tools里面,會(huì)有一堆進(jìn)度條,等他運(yùn)行停止以后進(jìn)行下一步
tar -zvxf jdk-8u144-linux-x64.tar.gz  -C /training/

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

2) 查看mobaxterm左邊,點(diǎn)擊文件夾進(jìn)到training里面查看解壓情況,有這個(gè)文件夾了就說明解壓成功了。

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

3、JDK安裝
1)控制臺(tái)輸入此命令回車進(jìn)行環(huán)境配置
 vi ~/.bash_profile

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

2) 進(jìn)入文件后是不可編輯的閱讀狀態(tài),使用鍵盤上下左右鍵將光標(biāo)移動(dòng)到藍(lán)色的export PATH 的H上面,按一下電腦的 i 鍵盤,進(jìn)入編輯模式,按右鍵挪到H的后面,然后回車兩次,在進(jìn)行下一步。

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop
CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop
CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop
CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

3) 在文件中添加此配置,直接復(fù)制粘貼,若java版本不是從我這下的,和我不同,請(qǐng)自行在配置里更改版本編號(hào)144,具體如圖
#java
export JAVA_HOME=/training/jdk1.8.0_144
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

4) 按一下esc退出編輯模式

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

5) 輸入 冒號(hào)wq,然后回車, 不可復(fù)制,直接鍵盤自己輸,此操作是保存文件并退出,w是保存,q是退出,后面不會(huì)講這么細(xì),忘記可以翻回來看,如果不下心改錯(cuò)了,不想保存退出,則使用 :wq! ,就是不保存退出。
:wq

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop
CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

6) 環(huán)境變量更改以后,需要讓他生效,所以輸入一下命令讓環(huán)境變量生效。
source ~/.bash_profile

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

7) 輸入此命令,檢查java是否安裝完畢,如果彈出對(duì)應(yīng)版本信息則成功安裝java。
 java -version

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

二、安裝Hadoop

1、關(guān)閉centos的防火墻,不然影響后面hadoop遠(yuǎn)程連接
systemctl stop firewalld.service

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

systemctl disable firewalld.service

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

2、更改主機(jī)名為niit和我一樣,方便后續(xù)文件直接復(fù)制粘貼不用更改,更改后不會(huì)馬上顯示,關(guān)掉mobaxterm重新連接一下就好了。
 hostnamectl --static set-hostname niit
3、配置映射關(guān)系
1)進(jìn)入centos的hosts映射文件
 vi /etc/hosts
2)添加ip編號(hào) 空格 主機(jī)名

(每個(gè)人ip都不一樣,自己用自己的)
具體怎么添加的參考上面的詳細(xì)環(huán)境變量文件更改和保存操作,一樣的。

192.168.163.137 niit

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

3):wq保存退出
:wq
4、配置另一個(gè)映射文件
1)進(jìn)入文件
vi /etc/sysconfig/network
2)添加主機(jī)名在這個(gè)文件里
niit

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

3) :wq 保存退出
:wq
5、進(jìn)入/tools文件夾
cd /tools
6、解壓hadoop壓縮包到training文件夾
tar -zvxf /tools/hadoop-3.3.0.tar.gz -C /training/

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop
CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

7、Hadoop環(huán)境配置
1)再次進(jìn)入環(huán)境變量配置文件
vi ~/.bash_profile
2)添加如下配置,別動(dòng)到之前的java,在后面換行添加就行
#hadoop
export HADOOP_HOME=/training/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

3):wq保存退出
4)生效環(huán)境變量
source ~/.bash_profile

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

5)輸入hdfs檢查hadoop是否安裝成功,如果有這些東西出來了,說明成功安裝,接下來去進(jìn)行hadoop配置文件的配置。
hdfs

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

三、Hadoop免密登錄配置

1、創(chuàng)建免密登錄數(shù)據(jù)存放文件
1)在hadoop安裝路徑下創(chuàng)建一個(gè)tmp文件夾用于存放配置數(shù)據(jù)
mkdir /training/hadoop-3.3.0/tmp 

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

2、免密配置
1)進(jìn)行hadoop ssh免密配置

a、輸入以下代碼,回車四次,什么都不要輸入快速回車4次,然后你會(huì)得到一個(gè)密碼圖形,每個(gè)人不一樣,不用看我的圖,有圖形就好了

ssh-keygen -t rsa

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop
CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

b、輸入以下命令

cd ~/.ssh/

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop
c、輸入以下命令(niit是主機(jī)名,和我不一樣得換自己的)

具體如圖所示

 ssh-copy-id -i id_rsa.pub root@niit

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

四、Hadoop5個(gè)配置文件設(shè)置

1、進(jìn)入Hadoop配置文件地址
cd /training/hadoop-3.3.0/etc/hadoop/
2、第一個(gè)配置文件:hadoop-env.sh,用于設(shè)置jdk的
1)輸入命令進(jìn)入編輯
vi hadoop-env.sh

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

2)進(jìn)去后長(zhǎng)這樣

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

3)往下滑動(dòng)鼠標(biāo)找到

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

4)進(jìn)入編輯模式,在這一行下面一行添加此內(nèi)容
export JAVA_HOME=/training/jdk1.8.0_144
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

5):wq保存退出
3、第二個(gè)配置文件:hdfs-site.xml,用于設(shè)置權(quán)限和數(shù)據(jù)塊備份數(shù)量
1)進(jìn)入文件
vi hdfs-site.xml

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

2)進(jìn)去長(zhǎng)這樣,在兩個(gè)configuration中間添加配置

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

3)進(jìn)入編輯模式添加內(nèi)容
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>
<property>
	<name>dfs.permissions</name>
	<value>false</value>
</property>

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

4):wq保存退出
4、第三個(gè)配置文件:core-site.xml,用于設(shè)置主節(jié)點(diǎn)和臨時(shí)文件夾
1)進(jìn)入文件
vi core-site.xml

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

2)進(jìn)去長(zhǎng)這樣,在configuration中間加

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

3)添加內(nèi)容,niit是主機(jī)名,不一樣記得改,8020不用動(dòng)
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://niit:8020</value>
</property>			
<property>
	<name>hadoop.tmp.dir</name>
	<value>/training/hadoop-3.3.0/tmp</value>
</property>

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

4):wq保存退出
5、第四個(gè)配置文件:mapred-site.xml,用于設(shè)置mapreduce的運(yùn)行環(huán)境
1)進(jìn)入文件
vi mapred-site.xml

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

2)進(jìn)去長(zhǎng)這樣,在configuration中間加

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

3)添加內(nèi)容
<property>	
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

6、第五個(gè)配置文件:yarn-site.xml,用于設(shè)置yarn
1)進(jìn)入文件
vi yarn-site.xml

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

2)進(jìn)入長(zhǎng)這樣,在箭頭處添加

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

3)添加內(nèi)容
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>niit</value>
</property>
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

4):wq保存退出

五、Hadoop格式化主節(jié)點(diǎn)

hdfs namenode -format

#注意: 如果格式化成功,你可以看到如下信息:
common.Storage: Storage directory /training/hadoop-3.3.0/tmp/dfs/name has been successfully formatted.

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

六、Hadoop啟動(dòng)與關(guān)閉

1、啟動(dòng)Hadoop
1)啟動(dòng)命令
start-all.sh

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop

2)是否啟動(dòng)成功進(jìn)程檢查
jps

成功會(huì)有5個(gè)進(jìn)程,1個(gè)jps進(jìn)程
CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop
如果成功看到5個(gè)hadoop進(jìn)程恭喜你成功了,只要少了任何一個(gè)進(jìn)程說明上述所有步驟一點(diǎn)點(diǎn)小問題都會(huì)有影響,從頭檢查一遍。

2、關(guān)閉Hadoop
stop-all.sh

CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop
CentOS7 Hadoop3.3.0 安裝與配置,大數(shù)據(jù),Hadoop,hadoop文章來源地址http://www.zghlxwxcb.cn/news/detail-704882.html

到了這里,關(guān)于CentOS7 Hadoop3.3.0 安裝與配置的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請(qǐng)注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • 基于CentOS 7 的 Hadoop3版本分布式環(huán)境配置搭建

    基于CentOS 7 的 Hadoop3版本分布式環(huán)境配置搭建

    以下是在VMware虛擬機(jī)中安裝centos 7去配置hadoop。所以要準(zhǔn)備的包 centos 7:Index of /apache/hadoop/common/hadoop-3.3.5 hadoop3.3.5:Index of /apache/hadoop/common/hadoop-3.3.5 查看原本的jdk版本 ? 其實(shí)原來的openjdk版本也是可用的,但是hadoop3.x不支持較低版本的jdk,所以這里卸載重新安裝新版本jdk文件

    2024年02月01日
    瀏覽(22)
  • Hadoop(01) Hadoop3.3.6安裝教程,單機(jī)/偽分布式配置

    Hadoop(01) Hadoop3.3.6安裝教程,單機(jī)/偽分布式配置

    在安裝 Hadoop 3.3.6 前,需要滿足以下前置條件: Java Development Kit (JDK):Hadoop 是用 Java 編寫的,因此需要安裝并配置適當(dāng)版本的 JDK。Hadoop 3.3.6 建議使用 JDK 8 或更高版本。確保正確安裝 JDK,并設(shè)置 JAVA_HOME 環(huán)境變量。 SSH:Hadoop 集群中的節(jié)點(diǎn)需要通過 SSH 進(jìn)行通信和管理。確保在

    2024年02月06日
    瀏覽(22)
  • Hadoop3.3.6安裝和配置hbase-2.5.5-hadoop3x,zookeeper-3.8.3

    Hadoop3.3.6安裝和配置hbase-2.5.5-hadoop3x,zookeeper-3.8.3

    vm設(shè)置 在安裝過程中推薦設(shè)置root用戶密碼為1234方面后續(xù)操作 1.設(shè)置主機(jī)名 以hadoop3為例 2.設(shè)置固定ip hadoop1 192.168.88.201 hadoop2 192.168.88.202 hadoop3 192.168.88.203 最后執(zhí)行 service network restart 刷新網(wǎng)卡 3.工具連接(三個(gè)機(jī)器都要設(shè)置) 4.主機(jī)映射 windows: C:WindowsSystem32driversetc 修改這個(gè)路

    2024年02月03日
    瀏覽(30)
  • Hadoop3.1.3完全分布式安裝配置

    Hadoop3.1.3完全分布式安裝配置

    1. 將hadoop-3.1.3.tar.gz復(fù)制到虛擬機(jī)/opt/software目錄下: 2.在/opt/software目錄下使用tar命令解壓hadoop-3.1.3.tar.gz到/opt/module目錄下:? 執(zhí)行結(jié)果如下: 3.在/opt/module目錄下修改文件夾名稱: 執(zhí)行結(jié)果如下: ?4.打開環(huán)境變量: 執(zhí)行結(jié)果如下: 5.將光標(biāo)移至文件底部,按“i”鍵編輯并作

    2024年02月08日
    瀏覽(25)
  • Hadoop3.1.3安裝教程_單機(jī)/偽分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)

    Hadoop3.1.3安裝教程_單機(jī)/偽分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)

    目錄 前言: 一、VMware Workstation 二、Ubuntu系統(tǒng)安裝 新建虛擬機(jī) 三、Ubuntu系統(tǒng)的配置 四、更新apt 五、安裝SSH、配置SSH無密碼登陸? 六、安裝Java環(huán)境 七、安裝 Hadoop3.1.3 八、Hadoop單機(jī)配置(非分布式) 九、Hadoop偽分布式配置 前言: ????????本篇教程由作者本人進(jìn)行修改,原教

    2024年02月03日
    瀏覽(57)
  • Hadoop3.1.3安裝教程單機(jī)偽分布式配置

    本教程使用 Ubuntu 18.04 64位 作為系統(tǒng)環(huán)境(或者Ubuntu 14.04,Ubuntu16.04 也行,32位、64位均可),請(qǐng)自行安裝系統(tǒng)。裝好了 Ubuntu 系統(tǒng)之后,在安裝 Hadoop 前還需要做一些必備工作。 創(chuàng)建hadoop用戶 如果你安裝 Ubuntu 的時(shí)候不是用的 “hadoop” 用戶,那么需要增加一個(gè)名為 hadoop 的用

    2024年02月04日
    瀏覽(27)
  • centos7安裝hadoop 單機(jī)版

    centos7安裝hadoop 單機(jī)版

    1.解壓 (1)將hadoop壓縮包復(fù)制到/opt/software路徑下 (2)解壓hadoop到/opt/module目錄下 [root@kb135 software]# tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/ (3)修改hadoop屬主和屬組 [root@kb135 module]# chown -R root:root ./hadoop-3.1.3/ 2.配置環(huán)境變量 [root@kb135 module]# vim /etc/profile # HADOOP_HOME export HADOOP_HOME

    2024年02月11日
    瀏覽(26)
  • 【大數(shù)據(jù)基礎(chǔ)】Hadoop3.1.3安裝教程

    【大數(shù)據(jù)基礎(chǔ)】Hadoop3.1.3安裝教程

    來源: https://dblab.xmu.edu.cn/blog/2441/ 前言:重裝解決一切bug!事實(shí)上,問題中的絕大部分衍生問題都可以通過重裝解決。 創(chuàng)建Hadoop用戶 首先按 ctrl+alt+t 打開終端窗口,輸入如下命令創(chuàng)建新用戶 : 接著使用如下命令設(shè)置密碼,可簡(jiǎn)單設(shè)置為 hadoop,按提示輸入兩次密碼: 可為

    2024年02月09日
    瀏覽(56)
  • Hadoop-3.3.0-Centos7安裝詳解

    Hadoop3.1.3–Centos7偽分布式安裝 安裝包目錄軟件安裝目錄 一、基礎(chǔ)配置 ? 我們規(guī)劃整個(gè)Hadoop集群由三臺(tái)服務(wù)器組成,分別為node1、node2和node3 配置虛擬機(jī) ? 通過克隆方式創(chuàng)建的虛擬機(jī)node2和node3的主機(jī)名均與克隆源虛擬機(jī) ? 這里需要修改虛擬機(jī)node2和node3的主機(jī)名,即將它們分

    2024年04月27日
    瀏覽(11)
  • 大數(shù)據(jù)第一步-Mac安裝Hadoop3

    大數(shù)據(jù)第一步-Mac安裝Hadoop3

    前提是把jJDK8安裝好,hadoop3.x最低需要jdk8。 然后打開共享把遠(yuǎn)程登陸打開,不打開說是后面會(huì)報(bào)錯(cuò), 到終端輸入命令:ssh localhost 生成新的keygen否則后面會(huì)報(bào)錯(cuò) Permission denied 命令:ssh-keygen -t rsa -P \\\'\\\' -f ~/.ssh/id_rsa?? 注冊(cè),命令為如下: 安裝hadoop,命令為我用的是bre

    2024年02月16日
    瀏覽(29)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請(qǐng)作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包