Hadoop集群安裝和搭建（從零開始超級超級詳細(xì)的過程）（上）

前言

本文直接從最最最開始安裝Hadoop開始講解，省略了虛擬機(jī)安裝的這部分，這里我就默認(rèn)學(xué)過Liunx的各位小伙伴們已經(jīng)有相關(guān)環(huán)境了。
下半部分在這里~

Hadoop集群安裝和搭建（從零開始超級超級詳細(xì)的過程）（下）

一、Hadoop項(xiàng)目結(jié)構(gòu)

二、Hadoop安裝方式

這里我們用分布式模式安裝

• 單機(jī)模式：Hadoop默認(rèn)模式為非分布式模式（本地模式），無需進(jìn)行其他配置即可運(yùn)行。訪問的是本地磁盤，而不是HDFS。
• 偽分布式模式：Hadoop可以在單節(jié)點(diǎn)上以偽分布式的方式運(yùn)行，節(jié)點(diǎn)既作為NameNode也作為DataNode，同時(shí)，讀取的是HDFS中的文件。
• 分布式模式：使用多個(gè)節(jié)點(diǎn)構(gòu)成集群環(huán)境來運(yùn)行Hadoop。

三、VMware虛擬網(wǎng)絡(luò)設(shè)置+Windows10的IP地址配置+CentOS7靜態(tài)IP設(shè)置

(1)VMware虛擬網(wǎng)絡(luò)設(shè)置

下面我更改了兩部分地址
1）子網(wǎng)IP：192.168.88.0（自己原來的地址）改為192.168.10.0
2）NAT設(shè)置網(wǎng)關(guān)IP：192.168.88.2改為192.168.10.2

(2) Window10的IP地址配置

找到VMnet8
將IP地址改為靜態(tài)地址

這里取消勾選自動(dòng)獲得IP地址改為靜態(tài)IP
默認(rèn)網(wǎng)關(guān)：192.168.10.2
DNS服務(wù)器改為：192.168.10.2
備用DNS服務(wù)器改為：8.8.8.8（國外DNS）或者114.114.114.114（國內(nèi)DNS）
注意：有時(shí)候8.8.8.8不行就換成114.114.114.114

(3)CentOS（hadoop 100）靜態(tài)IP設(shè)置

在cenntos7輸入startx命令進(jìn)入圖形界面(安不安裝圖形界面都可以，為了便于后續(xù)使用我還是安裝上了)

startx

進(jìn)入配置文件

vim /etc/sysconfig/network-scripts/ifcfg-ens33

進(jìn)入后將DHCP協(xié)議改為靜態(tài)的，并添加網(wǎng)關(guān)

添加剛剛配置的DNS地址解析、Hadoop100的ip地址、子網(wǎng)掩碼
注意！?。?！
這里的IP地址一定要寫對，我這里寫錯(cuò)了?。?！
寫錯(cuò)IP導(dǎo)致后面連接XSHell的時(shí)候浪費(fèi)了好多時(shí)間找錯(cuò)
這里的IP應(yīng)該是192.168.10.100

IPADDR=192.168.10.100

正確的IP

配置名稱（別忘了配Hadoop的名字，我這里之前忘記配了，后面才想起來配，要不然后面分不清誰是誰了）

vim /etc/hostname

(5)設(shè)置名字解析

為了方便后續(xù)更改IP地址，這里配置Linux克隆機(jī)主機(jī)名稱映射hosts文件

配置映射host文件
hosts文件是Linux系統(tǒng)中負(fù)責(zé)IP地址與域名快速解析的文件，需要配置其他的幾個(gè)節(jié)點(diǎn)“主機(jī)名”和“IP地址”可達(dá)到快速訪問集群中其他節(jié)點(diǎn)的效果。

vim /etc/hosts

重啟虛擬機(jī)，使配置生效

重啟后驗(yàn)證：

四、XSHELL7遠(yuǎn)程訪問工具+XFTP7文件傳輸

(1)分別下好XSHELL7和XFTP7

因?yàn)檫@里我使用的是老師給的舊版本工具（和書上一樣的版本，后續(xù)課程中方便使用）
如果要下載最新版本可以去官網(wǎng)下載

然后分別安裝：

1）先安裝Xshell

這個(gè)步驟很簡單，一路默認(rèn)就行

2）打不開Xshell7的解決方法

如果和我一樣安裝的老舊版本，那就看看下面我的解決方法吧。

安裝成功后一直提示“您已經(jīng)在系統(tǒng)上安裝了最新版本的Xshell 7”

解決方法：

右擊我的電腦/計(jì)算機(jī)–管理

找到【flexnet licensing service】服務(wù)然后停止，右擊屬性，把啟動(dòng)類型改成禁止就可以了。

如果上面的方法還是沒能解決你的問題?。?！
再看看下面這個(gè)方法吧，一定可以解決?。。ㄎ以嚵松弦粋€(gè)方法沒成功，但是網(wǎng)上好多人成功了，建議小試一下）

1、試試把系統(tǒng)時(shí)間改成2017年（因?yàn)榘姹纠吓f，把時(shí)間改舊一點(diǎn)就行了，2017年以前的時(shí)間就可以，這個(gè)方法好用?。。。?/p>

打開了

2、bat文件 自動(dòng)修改時(shí)間并在10秒后將日期恢復(fù)。(這個(gè)方法也行，要是覺得時(shí)間短可以把時(shí)間改久一點(diǎn))

因?yàn)槭謩?dòng)反復(fù)修改電腦日期麻煩。所以可以通過bat 文件進(jìn)行修改。

新建bat文件：新建txt文件，右鍵重命名將“新建文本文檔.txt ”改成"xshell.bat"即可。

編輯xshell.bat文件，然后復(fù)制下面的代碼。

##################################begin####################
@echo off
%1 mshta vbscript:CreateObject("Shell.Application").ShellExecute("cmd.exe","/c%~s0::","","runas",1)(window.close)
title Xshell啟動(dòng)器
set atime=%date:~0,4%-%date:~5,2%-%date:~8,2%

#設(shè)置系統(tǒng)時(shí)間
date 2017-7-27

#改成你的xshell啟動(dòng)路徑
start ""  "D:\Xshell.exe"

echo 啟動(dòng)軟件中...
ping 0.0.0.0 -n 10> null
echo 同步時(shí)間中，完成后自動(dòng)關(guān)閉窗口...

date %atime%
exit

我不嫌麻煩我用的每次打開XShell手動(dòng)改時(shí)間的方法，第二種方法我還沒有試過，嫌麻煩或感興趣的小伙伴可以試一試

3）新建XShell文件

如果要進(jìn)行傳輸
在沒安裝XFTP之前，點(diǎn)擊傳輸

會(huì)出現(xiàn)以下情況

于是我們安裝XFTP7

4）安裝Xftp

安裝好了（如果和XShell一樣一直讓你更新就把時(shí)間改一下就行了）

安裝后即可出現(xiàn)此界面,可以將本機(jī)的東西傳輸?shù)教摂M機(jī)里

五、基礎(chǔ)信息配置

(1)關(guān)閉防火墻 ，關(guān)閉防火墻開機(jī)自啟

關(guān)閉防火墻的命令：

systemctl stop firewalld

關(guān)閉防火墻開機(jī)自啟的命令：

systemctl disable firewalld.service

(2)創(chuàng)建自己的新用戶 ，并修改新用戶的密碼（這一步必須要做）

老師課上是直接創(chuàng)建了一個(gè)Hadoop賬戶，這里我隨便創(chuàng)建一個(gè)

命令：

useradd fjr
passwd fjr

注：名字可以自定義，即

useradd newname
passwd newname

(3)卸載虛擬機(jī)自帶的 JDK

發(fā)現(xiàn)centos7自帶JDK：

java -version

卸載原有的JDK

[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

驗(yàn)證虛擬機(jī)自帶的JDK是否刪干凈了，并重啟（reboot）

六、克隆三臺(tái)虛擬機(jī)

(1)首先關(guān)閉虛擬機(jī)才能克隆

在CentOS 7 上右鍵->管理->克?。?/p>

同理克隆Hadoop103和Hadoop104

(2)配置克隆出來的虛擬機(jī)的IP地址，主機(jī)名稱

分別執(zhí)行以下三條命令：

vim /etc/sysconfig/network-scripts/ifcfg-ens33(Linux的網(wǎng)卡參數(shù)詳解)
vim /etc/hostname
vim /etc/hosts

hadoop103和hadoop104配置同上，我就不一一截圖了

(3)都配置好后重啟,再ping百度

(4)三臺(tái)克隆虛擬機(jī)都配置好了后，將XSHELL也配置好

總結(jié)

以上就是今天要講的內(nèi)容，本文僅僅簡單介紹Hadoop集群安裝和搭建的上半部分，按照查找步驟和老師講解相結(jié)合相信你也可以成功搭建Hadoop集群。文章來源地址http://www.zghlxwxcb.cn/news/detail-463405.html

到了這里，關(guān)于Hadoop集群安裝和搭建（從零開始超級超級詳細(xì)的過程）（上）的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！