目錄
一、環(huán)境準(zhǔn)備
二、把Linux系統(tǒng)設(shè)置成固定IP
?三、建立Hadoop用戶
? 3.1、創(chuàng)建hadoop用戶
?3.2、修改 hadoop 用戶權(quán)限
?3.3、切換為 hadoop 用戶
3.4、更新源?
?3.5、檢查 SSH服務(wù)
3.6、配置 SSH 無密碼登錄
四、?安裝 Java 環(huán)境
五、安裝hadoop
?六、Hadoop單機(jī)配置
? ? ? ? ?使用MapReduce測試單詞出現(xiàn)的次數(shù)
?七、Hadoop 偽分布式配置
? ?7.1修改配置文件，運(yùn)行HDFS分布式文件系統(tǒng)
?7.2修改 core-site.xml 文件
7.3修改 hdfs-site.xml 文件?
?7.4修改 hadoop-env.sh 配置文件
7.5 NameNode 格式化
?7.6開啟 NameNode 和 DataNode
7.7使用瀏覽器訪問web界面?
一、環(huán)境準(zhǔn)備
?VMware 15? 版本以上
Linux?CenterOS 7 64位? ? ? ??【linux學(xué)習(xí)筆記】紅帽Linux 7.8系統(tǒng)在虛擬機(jī)上的安裝_Ein hübscher Kerl.的博客-CSDN博客_紅帽linux 虛擬機(jī)
Xshell? ? ? ? ? ?5
【Linux學(xué)習(xí)筆記】遠(yuǎn)程控制Linux主機(jī)_Ein hübscher Kerl.的博客-CSDN博客_linux遠(yuǎn)程主機(jī)
JDK? ? ? ? ? ? ?1.8
Hadoop????? 3.1.3?
二、把Linux系統(tǒng)設(shè)置成固定IP
Linux設(shè)置靜態(tài)IP在/etc/sysconfig/network-scripts/ifcfg-ens33文件中，在文件中設(shè)置固定IP即可，這里IP固定為192.168.170.130
vi /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static??????????? #dhcp改為static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=af2872df-87b6-4dfe-8f46-aaeb08fd8074
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.170.130? ? #增加一下內(nèi)容
NETMASK=255.255.255.0
GATEWAY=192.168.170.1
DNS1=202.101.224.68
reboot #修改完IP需要重啟一下
?查看網(wǎng)關(guān)命令route -n
?三、建立Hadoop用戶
? ? ? ?Linux權(quán)限最高的是root用戶，但是搭建Hadoop環(huán)境必須創(chuàng)建一個普通用戶，使用普通用戶來搭建環(huán)境，千萬不要用root用戶搭建，會出現(xiàn)一些意想不到的問題。
? 3.1、創(chuàng)建hadoop用戶
使用root用戶來創(chuàng)建hadoop用戶，用戶與用戶組都是hadoop
[root@localhost ~] useradd hadoop #創(chuàng)建hadoop用戶，用戶組也是hadoop?設(shè)置hadoop密碼需要輸入兩次，這里密碼設(shè)置為：hadoop
?3.2、修改 hadoop 用戶權(quán)限
? ? ? ?hadoop用戶為普通用戶，系統(tǒng)會對普通用戶的一些操作進(jìn)行限制，這里我們需要為hadoop用戶增加管理員權(quán)限，之后便可以使用 sudo 命令進(jìn)行一些限制操作，編輯/etc/sudoers文件給hadoop用戶增加管理員權(quán)限，紅色字就是新增的內(nèi)容。
[root@localhost ~]# vi /etc/sudoers
## The COMMANDS section may have other options added to it.
##
## Allow root to run any commands anywhere
root??? ALL=(ALL)?????? ALL
hadoop? ALL=(ALL)?????? ALL
## Allows members of the 'sys' group to run networking, software,
## service management apps and more.
# %sys ALL = NETWORKING, SOFTWARE, SERVICES, STORAGE, DELEGATING, PROCESSES, LOCATE, DRIVERS
?3.3、切換為 hadoop 用戶
目前使用的是root用戶，現(xiàn)在需要切換成hadoop用戶進(jìn)行操作?
[root@localhost ~]# su hadoop
[hadoop@localhost root]$ cd
[hadoop@localhost ~]$??
3.4、更新源?
? ? ? 我們在下載軟件時，可能會因?yàn)榫W(wǎng)絡(luò)原因而下載失敗，因此我們選擇更新軟件源，輸入以下命令更新軟件源，我們現(xiàn)在登錄的用戶是hadoop，因此需要使用 sudo 命令來進(jìn)行需要 root 權(quán)限的操作
?注：如果從來沒有更新過系統(tǒng)，這里需要等待一段時間
?3.5、檢查 SSH服務(wù)
? ? ? ?集群、單機(jī)模式都需要用到 SSH 登陸（類似于遠(yuǎn)程登陸，你可以登錄某臺 Linux 主機(jī)，并且在上面運(yùn)行命令），在使用 SSH 登陸服務(wù)之前，我們需要先輸入 yum list installed | grep openssh-server 命令檢測 openssh-server 是否安裝，有信息輸出表示已安裝，無信息輸出表示未安裝。
?
如果未安裝，則無任何輸出，安裝 openssh-server 命令為：sudo yum install openssh-server
3.6、配置 SSH 無密碼登錄
確定 openssh-server 已安裝后，我們就可以愉快的使用 SSH 服務(wù)了，輸入?ssh localhost?命令登陸本機(jī)：
按照以上的登陸方式：每次登陸都需要輸入密碼，很不方便，因此我們需要配置成SSH無密碼登陸，更方便一點(diǎn)。具體操作如下：
cat ./id_rsa.pub >> ./authorized_keys???? # 加入授權(quán)
chmod 600 authorized_keys????????? # 更改文件權(quán)限
四、?安裝 Java 環(huán)境
?第一步：指定java的安裝路徑，這里我們把java安裝到/usr/java目錄下
?第二步：把jdk安裝包上傳到/usr/java目錄下，進(jìn)行解壓
[hadoop@localhost usr]$ cd /usr/java??????????????? #進(jìn)入到/usr/java目錄下
?[hadoop@localhost java]$ sudo tar -xzvf jdk-8u221-linux-x64.tar.gz ????#解壓
第三步：配置環(huán)境變量，編輯/etc/profile文件進(jìn)行添加環(huán)境變量
?#文檔末尾增加以下信息 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
export JAVA_HOME=/usr/java/jdk1.8.0_221
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}
第四步：執(zhí)行java版本命令，檢查java是否安裝成功
五、安裝hadoop
?第一步：指定hadoop的安裝路徑，這里我們把hadoop安裝到/usr/hadoop目錄下，一定要把hadoop文件夾的所屬主與所屬組改成hadoop，否則運(yùn)行會沒有權(quán)限
?第二步：使用Xftp把hadoop安裝包上傳到/usr/hadoop目錄下，進(jìn)行解壓
?第三步：配置環(huán)境變量，編輯/etc/profile文件進(jìn)行添加環(huán)境變量
#文檔末尾增加以下信息???????????????????????????????????????????????
export HADOOP_HOME=/usr/hadoop/hadoop-3.1.3???
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
?第四步：執(zhí)行hadoop版本命令，檢查hadoop是否安裝成功
?六、Hadoop單機(jī)配置
? ? ? ? ?使用MapReduce測試單詞出現(xiàn)的次數(shù)
在/usr/hadoop/下創(chuàng)建一個input文件夾，在此文件夾中創(chuàng)建一個word.txt，在文件中隨機(jī)寫一些英文單詞，統(tǒng)計(jì)每個英文單詞的次數(shù)
?
?七、Hadoop 偽分布式配置
? ?7.1修改配置文件，運(yùn)行HDFS分布式文件系統(tǒng)
Hadoop 可以在單節(jié)點(diǎn)上以偽分布式的方式運(yùn)行，Hadoop 進(jìn)程以分離的 Java 進(jìn)程來運(yùn)行，節(jié)點(diǎn)既作為 NameNode 也作為 DataNode，同時，其讀取的是 HDFS 中的文件。
Hadoop 的配置文件位于 /usr/hadoop/hadoop-3.1.3/etc/hadoop/ 中，偽分布式需要修改 2 個配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每個配置以聲明 property 的 name 和 value 的方式來實(shí)現(xiàn)。
?7.2修改 core-site.xml 文件
添加內(nèi)容
?<property>
??????? <name>hadoop.tmp.dir</name>
??????? <value>file:/usr/hadoop/tmp</value>
??????? <description>Abase for other temporary directories.</description>
??? </property>
??? <property>
??????? <name>fs.defaultFS</name>
??????? <value>hdfs://localhost:9000</value>
??? </property>
7.3修改 hdfs-site.xml 文件?
?
?添加內(nèi)容
<property>
??????? <name>dfs.replication</name>
??????? <value>1</value>
??? </property>
??? <property>
??????? <name>dfs.namenode.name.dir</name>
??????? <value>file:/usr/hadoop/tmp/dfs/name</value>
??? </property>
??? <property>
??????? <name>dfs.datanode.data.dir</name>
??????? <value>file:/usr/hadoop/tmp/dfs/data</value>
</property>
?7.4修改 hadoop-env.sh 配置文件
在 hadoop-env.sh 文件里找到 # export JAVA_HOME= 這行，如下所示：export JAVA_HOME=/usr/java/jdk1.8.0_221
[hadoop@localhost hadoop]$ vi hadoop-env.sh
7.5 NameNode 格式化
?格式化成功
?7.6開啟 NameNode 和 DataNode
?
7.7使用瀏覽器訪問web界面?
成功啟動后，可以在瀏覽器上訪問 Web 界面?http://192.168.170.130:9870?查看 NameNode 和 Datanode 信息，還可以在線查看 HDFS 中的文件，記得關(guān)閉Linux防火墻，否則外部無法訪問。
【Linux學(xué)習(xí)筆記】管理Linux操作系統(tǒng)：簡單的關(guān)閉防火墻_Ein hübscher Kerl.的博客-CSDN博客_termux關(guān)閉防火墻
?進(jìn)行訪問
?安裝包下載地址文章來源：http://www.zghlxwxcb.cn/news/detail-796566.html
鏈接：https://pan.baidu.com/s/1sCmMTFrt3VPKFIUtlG9x2w?pwd=ydd9?
提取碼：ydd9?文章來源地址http://www.zghlxwxcb.cn/news/detail-796566.html
到了這里，關(guān)于【云計(jì)算】Hadoop環(huán)境搭建的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
