Centos7環(huán)境 – Hadoop單機(jī)模式部署

正文開始@Assassin

接上一篇博客 點(diǎn)我跳轉(zhuǎn)到虛擬機(jī)搭建，配置好虛擬機(jī)環(huán)境后進(jìn)行hadoop單機(jī)模式的部署，我的云計(jì)算課程中只要求了簡單的單機(jī)模式部署，如果有精力的話，應(yīng)該會把偽分布式部署也簡單地記錄一下

1. Hadoop介紹：

Apache Hadoop 項(xiàng)目為可靠，可擴(kuò)展的分布式計(jì)算開發(fā)開源軟件；Hadoop軟件庫是一個(gè)計(jì)算框架，可以使用簡單的編程模型以集群的方式對大型數(shù)據(jù)集進(jìn)行分布式處理；

Apache Hadoop 軟件庫是一個(gè)框架，它允許使用簡單的編程模型跨計(jì)算機(jī)集群分布式處理大型數(shù)據(jù)集。它旨在從單個(gè)服務(wù)器擴(kuò)展到數(shù)千臺機(jī)器，每臺機(jī)器都提供本地計(jì)算和存儲。庫本身不是依靠硬件來提供高可用性，而是設(shè)計(jì)用于檢測和處理應(yīng)用層的故障，因此在計(jì)算機(jī)集群之上提供高可用性服務(wù)，每臺計(jì)算機(jī)都可能容易出現(xiàn)故障。

2. Hadoop發(fā)展史及生態(tài)圈：

3. Hadoop核心功能及優(yōu)勢：

• Hadoop Common：支持其他 Hadoop 模塊的通用實(shí)用程序
• Hadoop 分布式文件系統(tǒng) (HDFS)：一種分布式文件系統(tǒng)，可提供對應(yīng)用程序數(shù)據(jù)的高吞吐量訪問；是Hadoop生態(tài)系統(tǒng)中的核心項(xiàng)目之一，也是分布式計(jì)算中數(shù)據(jù)存儲管理的基礎(chǔ)
• Hadoop YARN：作業(yè)調(diào)度和集群資源管理的框架；可以為上層應(yīng)用提供統(tǒng)一的資源管理和調(diào)度，為集群的資源利用率、統(tǒng)一管理、數(shù)據(jù)共享等方面提供了便利
• Hadoop MapReduce：基于 YARN 的系統(tǒng)，用于并行處理大型數(shù)據(jù)集；Map階段處理后形成鍵值對形式的中間結(jié)果；Reduce對中間結(jié)果相同的 " 鍵 " 對應(yīng)的 " 值 " 進(jìn)行處理，得到最終結(jié)果

4. 部署方式介紹：

• ① 單機(jī)模式（standalone mode）：
  單機(jī)模式是最簡單（默認(rèn)）的安裝模式，因?yàn)镠adoop本身是基于Java編寫的，所以只要配置好Java的環(huán)境變量就可以運(yùn)行了；在這種部署方式中我們不需要修改任何的配置文件，也不需要啟動任何的服務(wù)，只需要解壓縮、配置環(huán)境變量即可。雖然配置很簡單，所以說能做的事情也是很少的，因?yàn)闆]有各種守護(hù)進(jìn)程，所以分布式數(shù)據(jù)存儲以及資源調(diào)度等等服務(wù)都是不能使用的，但是我們可以很方便的測試MapReduce程序

• ② 偽分布模式（Pseudo-Distributed mode）：
  偽分布模式是學(xué)習(xí)階段最常用的模式，可以將進(jìn)程都運(yùn)行在同一臺機(jī)器上。在這種模式下，可以模擬全分布模式下的運(yùn)行狀態(tài)，基本上可以完成全分布模式下的所有操作，偽分布模式是全分布模式的一個(gè)特例

• ③ 全分布模式（cluster mode）：
  在全分布模式下，會在配置文件中體現(xiàn)出主節(jié)點(diǎn)與分節(jié)點(diǎn)，可以指定哪些機(jī)器上運(yùn)行哪些服務(wù)以達(dá)到的成本與效率的平衡。在企業(yè)中主要采用的都是全分布式模式，節(jié)點(diǎn)從數(shù)十個(gè)到上百個(gè)不等。在學(xué)習(xí)階段，如果個(gè)人PC的性能足夠強(qiáng)勁，也可以使用多臺虛擬機(jī)代替

5. hadoop及jdk下載：

5.1 hadoop安裝包下載：

在搜索引擎中直接搜索hadoop即可，注意二級域名是apache.org

進(jìn)入到 Apache Hadoop 官方下載頁面：Apache Hadoop Download

現(xiàn)在基本上使用的是開源社區(qū)版，目前的主流版本為2.x.x和3.x.x，這里就選用穩(wěn)定性較好的 2.10.1 進(jìn)行下載；頁面中有 Source download 和 Binary download 兩種，其中Source為源碼，Binary為我們所需要的軟件包，點(diǎn)擊對應(yīng)版本的Binary進(jìn)入下載界面：

這里直接放出 2.10.1 Binary 版本的下載鏈接：hadoop 2.10.1下載鏈接

hadoop安裝包下載完成：

5.2 jdk安裝包下載：

在配置Hadoop前，需要先配置好JDK，在安裝應(yīng)先檢查之前是否安裝過jdk歷史版本，如果安裝過jdk，需卸載歷史版本；接下來需下載jdk，在搜索引擎中搜索jdk：注意二級域名是 apache.com

現(xiàn)在企業(yè)中主流的jdk版本是 jdk1.8，所以這里我自然選擇 jdk1.8 進(jìn)行下載，jdk1.8下載鏈接
進(jìn)入界面后根據(jù)列表的信息選擇所需要的版本，32位系統(tǒng)對應(yīng)x86，64位系統(tǒng)對應(yīng)x64：這里選擇 x64 Compressed Archive

點(diǎn)擊右側(cè)的下載鏈接，然后勾選接受網(wǎng)絡(luò)許可協(xié)議就可以下載了：

這里還得配合oracle的賬號來進(jìn)行下載：

等不及的小伙伴可以通過百度網(wǎng)盤的鏈接進(jìn)行下載：
jdk1.8-linux
提取碼:1pva

jdk下載完成，一切準(zhǔn)備就緒了~~

6. 安裝及環(huán)境配置：

我的電腦不是很好，開虛擬機(jī)內(nèi)存占用太大了，所以使用 xshell 連接虛擬機(jī)，接下來的操作全都在 xshell 中進(jìn)行：

xshell ssh 遠(yuǎn)程連接虛擬機(jī)成功

6.1 jdk環(huán)境配置：

• ① 查詢jdk歷史版本：

[ninghai@centos ~]$ rpm -qa | grep jdk
[ninghai@centos ~]$ rpm -qa | grep java

將查詢出來的文件刪除，如果沒有歷史版本則進(jìn)行下一步

• ② 卸載歷史版本（root或者sudo）：

[ninghai@centos ~]$ sudo rpm -e --nodeps java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64
[ninghai@centos ~]$ sudo rpm -e --nodeps javapackages-tools-3.4.1-11.el7.noarch
[ninghai@centos ~]$ sudo rpm -e --nodeps python-javapackages-3.4.1-11.el7.noarch
[ninghai@centos ~]$ sudo rpm -e --nodeps tzdata-java-2020a-1.el7.noarch
[ninghai@centos ~]$ sudo rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.262.b10-1.el7.x86_64
[ninghai@centos ~]$ sudo rpm -e --nodeps copy-jdk-configs-3.3-10.el7_5.noarch
[ninghai@centos ~]$ sudo rpm -e --nodeps java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64

卸載完成后執(zhí)行以下指令，若出現(xiàn)如下結(jié)果則說明卸載歷史版本成功：

[ninghai@centos ~]$ rpm -qa | grep jdk
[ninghai@centos ~]$ rpm -qa | grep java
[ninghai@centos ~]$ java -version

• ③ 將文件傳輸?shù)教摂M機(jī)中：

使用lrzsz工具或者xftp進(jìn)行文件傳輸
考慮到文件較大，這里改為使用xftp進(jìn)行文件傳輸，速率較快：

ls -l 指令查看一下傳輸完成后的文件列表：

• ④ 解壓縮jdk安裝包：

[ninghai@centos ~]$ tar -zvxf jdk-8u251-linux-x64.tar.gz

• ⑤ 配置環(huán)境變量：

注：配置環(huán)境變量有兩種方式，一種是直接配置系統(tǒng)環(huán)境變量，也就是全局環(huán)境變量；另一種是配置用戶環(huán)境變量，也就是本地用戶環(huán)境變量；系統(tǒng)環(huán)境變量在 /etc/profile中進(jìn)行配置，該配置可作用于全局，無論哪個(gè)用戶都可以正常使用；用戶環(huán)境變量在 ~/.bash_profile中進(jìn)行配置，該配置只可作用于當(dāng)前用戶，其他用戶不可正常使用；部署hadoop各模式時(shí)要確保jdk環(huán)境與hadoop配置環(huán)境要作用于同一用戶，也就是說java -version跟hadoop version需同時(shí)在一個(gè)用戶下起作用，所以說這里我比較推薦jdk配置用系統(tǒng)變量（全局變量），hadoop的配置使用本地用戶變量（本地局部變量），這樣既不用考慮用戶作用域的問題，也隔離了可以使用hadoop的用戶，也就是保證hadoop由專有的用戶來管理（工作中基本上采用這種模式）

本文中為了跟實(shí)驗(yàn)報(bào)告保持一致，均采用了配置當(dāng)前用戶 ~/.bash_profile的方法，故也不存在作用域的問題，(jdk和hadoop的配置都在當(dāng)前用戶)
如果在工作中部署hadoop可能會新建hadoop用戶來操作，這時(shí)候就得考慮作用域是否一致的問題了！！

這里以當(dāng)前普通用戶進(jìn)行配置 (jdk配置只在當(dāng)前ninghai用戶生效)，root 用戶使用 vim /etc/profile可以進(jìn)行全局配置

[ninghai@centos ~]$ vim ~/.bash_profile

在 ~/.bash_profile 文件中追加如下信息：

JAVA_HOME=/home/ninghai/jdk1.8.0_251 #這里填自己jdk的解壓路徑
PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

export JAVA_HOME

由于配置的jdk主要是為了讓hadoop能夠正常調(diào)用，所以 CLASSPATH 的部分在此省略~~

使其如下圖所示：

最后刷新一下環(huán)境變量：

[ninghai@centos ~]$ source ~/.bash_profile

使用如下命令行進(jìn)行測試：

[ninghai@centos ~]$ java -version

可以發(fā)現(xiàn)該命令沒有報(bào)錯(cuò)，且對應(yīng)的信息為 java version " 1.8.0_251 "，意味著操作成功：

還是把 root 的相關(guān)配置也簡單記錄一下：vim /etc/profile；
系統(tǒng)環(huán)境變量中JAVA_HOME的路徑一般選擇放在 PATH路徑中，建議選擇 /opt ；

# 在文件結(jié)尾添加以下內(nèi)容
# 注：JAVA_HOME填的是jdk的安裝路徑，不一定跟我的一樣
JAVA_HOME=/opt/jdk1.8.0_251 #jdk解壓目錄
PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin #拼接原有PATH，同時(shí)添加jdk的bin及jre/bin

#執(zhí)行export導(dǎo)出，提升為全局
export JAVA_HOME
export PATH

配置完成后用 root 用戶測試 jdk 同樣適用，上述兩種方法可任選一種進(jìn)行配置；

6.2 hadoop環(huán)境配置：

• ① 解壓縮hadoop安裝包：

[ninghai@centos ~]$ tar -zxvf hadoop-2.10.1.tar.gz 

• ② 配置hadoop環(huán)境變量：

注：配置環(huán)境變量有兩種方式，一種是直接配置系統(tǒng)環(huán)境變量，也就是全局環(huán)境變量；另一種是配置用戶環(huán)境變量，也就是本地用戶環(huán)境變量；系統(tǒng)環(huán)境變量在 /etc/profile中進(jìn)行配置，該配置可作用于全局，無論哪個(gè)用戶都可以正常使用；用戶環(huán)境變量在 ~/.bash_profile中進(jìn)行配置，該配置只可作用于當(dāng)前用戶，其他用戶不可正常使用；部署hadoop各模式時(shí)要確保jdk環(huán)境與hadoop配置環(huán)境要作用于同一用戶，也就是說java -version跟hadoop version需同時(shí)在一個(gè)用戶下起作用，所以說這里我比較推薦jdk配置用系統(tǒng)變量（全局變量），hadoop的配置使用本地用戶變量（本地局部變量），這樣既不用考慮用戶作用域的問題，也隔離了可以使用hadoop的用戶，也就是保證hadoop由專有的用戶來管理（工作中基本上采用這種模式）

本文中為了跟實(shí)驗(yàn)報(bào)告保持一致，均采用了配置當(dāng)前用戶 ~/.bash_profile的方法，故也不存在作用域的問題，(jdk和hadoop的配置都在當(dāng)前用戶)
如果在工作中部署hadoop可能會新建hadoop用戶來操作，這時(shí)候就得考慮作用域是否一致的問題了?。?/strong>

HADOOP_HOME=/home/ninghai/hadoop-2.10.1
PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export HADOOP_HOME 

[ninghai@centos ~]$ source ~/.bash_profile

[ninghai@centos hadoop-2.10.1]$ hadoop version

[ninghai@centos hadoop-2.10.1]$ mkdir input
[ninghai@centos hadoop-2.10.1]$ cp etc/hadoop/*xml input

[ninghai@centos hadoop-2.10.1]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.1.jar grep input output 'dfs[a-z.]+'

[ninghai@centos ~]$ cd /home/ninghai/hadoop-2.10.1/share/hadoop/mapreduce

good better best
never let it rest
till good is better
and better best

good good study
day day up
today is a good day

[ninghai@centos mapreduce]$ hadoop jar hadoop-mapreduce-examples-2.10.1.jar wordcount data.txt output

[ninghai@centos ~]$ cd /home/ninghai/hadoop-2.10.1/share/hadoop/mapreduce

[ninghai@centos mapreduce]$ hadoop jar hadoop-mapreduce-examples-2.10.1.jar pi 10 100000000