目錄
一、虛擬機安裝?
1、創(chuàng)建虛擬機
2、虛擬機啟動初始化
二、 虛擬機克隆
三、Linux系統(tǒng)的網(wǎng)絡(luò)配置
1、準備工作
2、 主機名和IP映射
2.1 配置主機名
2.2 配置IP映射?
?3、網(wǎng)絡(luò)參數(shù)配置
四、SSH服務(wù)配置?
1、生成密鑰文件
2、將本機公鑰文件復(fù)制到其他虛擬機上?
五、JDK安裝和Hadoop安裝?
1、準備安裝包?
2、下載安裝軟件Xshell
3、安裝JDK（所有虛擬機都要操作）
3.1 傳輸文件
3.2 解壓JDK
3.3 重命名JDK目錄
3.4 配置環(huán)境變量
3.5 使配置文件生效
3.6 查看是否配置成功
?4、Hadoop安裝（所有虛擬機都要操作）
4.1 傳輸文件
4.2 解壓Hadoop
4.3 打開配置文件?
4.4 配置Hadoop環(huán)境變量
4.5 使配置文件生效
4.6 查看是否配置成功
六、Hadoop集群配置
1、進入主節(jié)點配置目錄
?2、修改hadoop-env.sh文件
3、修改core-site.xml文件
4、修改hdfs-site.xml文件
5、修改mapred-site.xml文件
6、修改yarn-site.xml文件?
7、修改slaves文件
8、將主節(jié)點中配置好的文件和hadoop目錄copy給子節(jié)點?
9、使子節(jié)點中的配置文件生效?
10、在主節(jié)點格式化文件系統(tǒng)?
七、Hadoop集群測試
1、啟動集群
1.1 在主節(jié)點啟動所有HDFS服務(wù)進程
1.2 使用jps命令查看進程
2、關(guān)閉防火墻（所有虛擬機都要操作）
3、通過UI界面查看Hadoop運行狀態(tài)
4、查看java版本
5、查看hadoop版本?
??八、Hadoop集群案例?
一、虛擬機安裝?
1、創(chuàng)建虛擬機
? ? ? ?通過自定義的方式創(chuàng)建虛擬機：
? ? ? ?這里列出了VMware Workstation相關(guān)的信息：
? ? ? ?選擇稍后安裝虛擬機，因為安裝虛擬機只是相當于安裝了個裸機，還沒有操作系統(tǒng)。
? ? ? ?選擇客戶機操作系統(tǒng)和版本：
? ? ? ?要安裝3臺虛擬機，把這三臺虛擬機放在一個大文件夾里，每個虛擬機再單獨放在一個文件夾里，因為所有虛擬機放在一個文件夾里可能會出問題：
? ? ? ?選擇分配處理器，分配越多，性能越好，此處只用作學(xué)習(xí)，所以分配一個處理器就夠了：
? ? ? ?虛擬機內(nèi)存分配方法：實驗要求搭建三臺虛擬機，相當于三臺電腦，加上Windows系統(tǒng)本身這臺電腦，一共四臺計算機，可以將內(nèi)存平分一下界面，即同樣根據(jù)個人PC端的物理內(nèi)存進行合理分配，這里搭建的Hadoop01虛擬機后續(xù)將作為Hadoop集群主節(jié)點,所以通常會分配較多的內(nèi)存。
? ? ? ?完成內(nèi)存設(shè)置后,根據(jù)向?qū)Э梢允褂媚J安裝方式連續(xù)單擊“下一步”按鈕。當進入到“指定磁盤容量”界面后，可以根據(jù)實際需要并結(jié)合PC端硬件情況合理選擇“最大磁盤大小”，此處設(shè)置為50GB，因為有時候20GB不夠用，50GB也不是立即就占用的，只是最大時占用這么多空間。
? ? ? ?完成磁盤容量設(shè)置后，再次根據(jù)向?qū)Э梢允褂媚J安裝方式連續(xù)單擊“下一步”按鈕。當進入到“已準備好創(chuàng)建虛擬機”界面，就可以查看當前設(shè)置的要創(chuàng)建的虛擬機參數(shù)，在確認無誤后單擊“完成”按鈕，即可完成新建虛擬機的設(shè)置。
? ? ? ?需注意，此時只是配置好了一臺虛擬機，他只是相當于一臺裸機，沒有操作系統(tǒng)，接下來給他安裝一個操作系統(tǒng)。
2、虛擬機啟動初始化
? ? ? ?選中創(chuàng)建成功的Hadoop01虛擬機，打開“虛擬機設(shè)置”中的“CD/DVD(IDE)”選項，選中“使用ISO鏡像文件(M)”選項，并單擊“瀏覽(B)”按鈕來設(shè)置ISO鏡像文件的具體地址，此時就相當于給該虛擬機插了個安裝光盤，接下來就可以進行安裝了。
? ? ? ?設(shè)置完ISO鏡像文件后,單擊 “確定”按鈕,然后選擇當前Hadoop01主界面的“打開虛擬機”選項，來啟動Hadoop01虛擬機。
? ? ? ?點擊第一個選項：
? ? ? ?主機名 hostname設(shè)置界面，自定義該臺虛擬機的主機名hostname(此處設(shè)置該臺虛擬機主機名hostname為 hadoop01)。
? ? ? ?完成主機名設(shè)置后，單擊 “Configure”選項,在彈出的窗口中選擇唯一的網(wǎng)卡并選中“Connect automatically(自動連接)”選項，并單擊“Apply(應(yīng)用)”按鈕。
? ? ? ?完成主機名和網(wǎng)絡(luò)配置后，進行系統(tǒng)時區(qū)的選擇,此處選擇Asia/ShangHai。
? ? ? ?完成系統(tǒng)時區(qū)配置后,進入到root 用戶密碼設(shè)置界面，可以自定義root用戶密碼，但是要求密碼長度最低6個字符(如果密碼強度較低可能出現(xiàn)提示窗,直接單擊“Use Anyway(無論如何都用)”選項即可)，此處設(shè)置為123456。
? ? ? ?然后就是安裝和重啟：
? ? ? ?至此，就完成了CentOS虛擬機的安裝。
? ? ? ?為了規(guī)范后續(xù)Hadoop集群相關(guān)軟件和數(shù)據(jù)的安裝配置，這里在虛擬機的根目錄下創(chuàng)建一些文件夾作為約定，具體如下:
? ? ? ?/export/data/:存放數(shù)據(jù)類文件;
? ? ? ?/export/servers/:存放服務(wù)類軟件;
? ? ? ?/export/software/:存放安裝包文件。
二、 虛擬機克隆
? ? ? ?目前已經(jīng)成功安裝好了一臺搭載 CentOS鏡像文件的Linux系統(tǒng)，而一臺虛擬機遠遠不能滿足搭建Hadoop集群的需求，因此需要對已安裝的虛擬機進行克隆。VMware提供了兩種類型的克隆，分別是完整克隆和鏈接克隆。
? ? ? ?完整克隆：是對原始虛擬機完全獨立的一個復(fù)制，它不和原始虛擬機共享任何資源，可以脫離原始虛擬機獨立使用。
? ? ? ?鏈接克?。盒枰驮继摂M機共享同一虛擬磁盤文件，不能脫離原始虛擬機獨立運行。但是，采用共享磁盤文件可以極大縮短創(chuàng)建克隆虛擬機的時間，同時還節(jié)省物理磁盤空間。通過鏈接克隆，可以輕松地為不同的任務(wù)創(chuàng)建一個獨立的虛擬機。
? ? ? ?以上兩種克隆方式中，完整克隆的虛擬機文件相對獨立并且安全，在實際開發(fā)中也較為常用，此處使用完整克隆方式。
? ? ? ?在VMware工具左側(cè)系統(tǒng)資源庫中右擊 Hadoop01，選擇“管理”列表下的“克隆”選項，彈出克隆虛擬機向?qū)А?/p>
? ? ? ?根據(jù)克隆向?qū)нB續(xù)單擊界面中的“下一步”按鈕,進入到“克隆類型”界面后﹐選擇“創(chuàng)建完整克隆(F)”選項。
? ? ? ?選擇完整克隆方式后,單擊“下一步”按鈕,進入到“新虛擬機名稱”界面,在該界面自定義新虛擬機名稱和位置。
? ? ? ?設(shè)置好新虛擬機名稱和位置后,單擊“完成”按鈕就會進入新虛擬機克隆過程,稍等片刻就會跳轉(zhuǎn)到虛擬機克隆的結(jié)果界面。在克隆成功界面,單擊“關(guān)閉”按鈕就完成了虛擬機的克隆。
? ? ? ?重復(fù)上述步驟，即可克隆出hadoop03虛擬機：
? ? ? ?有時為了方便管理這三臺虛擬機，在VMware工具左側(cè)系統(tǒng)資源庫中右擊“我的計算機”，新建一個文件夾，將創(chuàng)建好的hadoop01、hadoop02、hadoop03虛擬機拖進去。
三、Linux系統(tǒng)的網(wǎng)絡(luò)配置
? ? ? ?通過前面方式安裝的虛擬機hadoop01雖然能夠正常使用，但是該虛擬機的IP是動態(tài)生成的，在不斷的開停過程中很容易改變，非常不利于實際開發(fā)；而通過Hadoop01克隆的虛擬機(hadoop02和hadoop03)則完全無法動態(tài)分配到IP,直接無法使用。因此,還需要對這三臺虛擬機的網(wǎng)絡(luò)分別進行配置。?
1、準備工作
? ? ? ?對虛擬機進行網(wǎng)絡(luò)配置，先把網(wǎng)段都改成137。
? ? ? ?并分別對子網(wǎng)、子網(wǎng)掩碼、NAT、DHCP進行設(shè)置：
? ? ? ?子網(wǎng)IP設(shè)置為192.168.137.0，最后一位設(shè)置為0，否則會出現(xiàn)子網(wǎng)掩碼與IP沖突。
? ? ? ?網(wǎng)關(guān)最后一位設(shè)置為2即可。
? ? ? ?再對Windows進行網(wǎng)絡(luò)配置，要與虛擬機編輯中的虛擬網(wǎng)絡(luò)編輯器中的設(shè)置一致：
? ? ? ?IP地址：這個IP在局域網(wǎng)內(nèi)部不沖突即可
? ? ? ?子網(wǎng)掩碼：默認即可
? ? ? ?默認網(wǎng)關(guān)：要與虛擬機編輯中的虛擬網(wǎng)絡(luò)編輯器中的NAT設(shè)置的網(wǎng)關(guān)一致
? ? ? ?首選DNS服務(wù)器：使用谷歌提供的免費的DNS服務(wù)器即可
? ? ? ?配置好之后，點確定即可：
2、 主機名和IP映射
? ? ? ?遇到的問題：
? ? ? ?解決方法：
? ? ? ?把虛擬機內(nèi)存改為2GB即可。
? ? ? ?開啟三臺虛擬機，使用root身份登錄，并查詢虛擬機hadoop01、hadoop02、hadoop03的主機名，因為hadoop02、hadoop03是從hadoop01克隆過來的，所以主機名都是hadoop01：
?2.1 配置主機名
? ? ? ?hadoop02：
? ? ? ?
? ? ? ?hadoop03：
? ? ? ?
? ? ? ?執(zhí)行上述指令后，虛擬機hadoop01, hadoop02,hadoop03主機名依次設(shè)置為hadoop01 , hadoop02和hadoop03。
2.2 配置IP映射?
? ? ? ?配置IP映射,要明確當前虛擬機的IP和主機名,主機名可以參考前面已配置的主機名,但IP地址必須在VMware 虛擬網(wǎng)絡(luò)IP地址范圍內(nèi)。
? ? ? ?然后,執(zhí)行如下指令對IP映射文件 hosts進行編輯:
? ? ? ?
? ? ? ?
? ? ? ?三個虛擬機都按上述步驟執(zhí)行一遍，IP映射配置完成。
?3、網(wǎng)絡(luò)參數(shù)配置
? ? ? ?上一步中,對虛擬機的主機名和IP映射進行了配置,而想要虛擬機能夠正常使用,還需要進行網(wǎng)絡(luò)參數(shù)配置。
hadoop01:
? ? ? ?（1）查看網(wǎng)絡(luò)是否連通
? ? ? ?
? ? ? ?（2）安裝net-tools
? ? ? ?yum upgrade
? ? ? ?yum install net-tools
? ? ? ?（3）查看MAC地址（enter后面）：
? ? ? ?
? ? ? ?（4）修改網(wǎng)絡(luò)配置文件：
? ? ? ?執(zhí)行如下指令：
? ? ? ?
? ? ? ?進入文本編輯，把BOOTPROTO改為static，ONBOOT改為yes
? ? ? ?ONBOOT=yes:表示啟動這塊網(wǎng)卡;
? ? ? ?BOOTPROTO=static:表示靜態(tài)路由協(xié)議,可以保持IP固定;
? ? ? ?HWADDR:表示虛擬機 MAC地址,需要與當前虛擬機MAC地址一致;
? ? ? ?IPADDR:表示虛擬機的IP地址,這里設(shè)置的IP地址要與前面IP映射配置時的IP地址一致,否則無法通過主機名找到對應(yīng)IP;
? ? ? ?GATEWAY:表示虛擬機網(wǎng)關(guān),通常都是將IP地址最后一位改成2;
? ? ? ?NETMASK:表示虛擬機子網(wǎng)掩碼,通常都是255.255.255.0;
? ? ? ?DNS1:表示域名解析器,此處采用Google提供的免費DNS服務(wù)器8.8.8.8(也可以設(shè)置為PC端電腦對應(yīng)的DNS)。
? ? ? ?
? ? ? ?
? ? ? ?（5）重啟網(wǎng)絡(luò)服務(wù)，查看是否配置成功
? ? ? ?
? ? ? ?（6）重啟虛擬機后，查看是否連通網(wǎng)絡(luò)（ip地址并未改變，且能連通網(wǎng)絡(luò)）：
? ? ? ?hadoop02:
? ? ? ?（1）查看mac地址
? ? ? ?（2）網(wǎng)絡(luò)配置文件修改
? ? ? ?
? ? ? ?（3）重新啟動網(wǎng)絡(luò)配置（查看網(wǎng)絡(luò)是否可用）：
? ? ? ?
? ? ? ?按照以上步驟，再配置另外一臺虛擬機Hadoop03。
? ? ? ?hadoop03：
四、SSH服務(wù)配置?
? ? ? ?通過前面的操作，已經(jīng)完成了三臺虛擬機Hadoop01、Hadoop02和Hadoop03的安裝和網(wǎng)絡(luò)配置，雖然這些虛擬機已經(jīng)可以正常使用了，但是依然存在下列問題：
? ? ? ?（1）實際工作中，服務(wù)器被放置在機房中，同時受到地域和管理的限制，開發(fā)人員通常不會進入機房直接上機操作，而是通過遠程連接服務(wù)器，進行相關(guān)操作。
? ? ? ?（2）在集群開發(fā)中，主節(jié)點通常會對集群中各個節(jié)點頻繁地訪問，就需要不斷輸入目標服務(wù)器的用戶名和密碼，這種操作方式非常麻煩并且還會影響集群服務(wù)的連續(xù)運行為了解決上述問題，可以通過配置 SSH 服務(wù)來分別實現(xiàn)遠程登錄和 SSH 免密登錄功能。
1、生成密鑰文件
? ? ? ?四次回車：
? ? ? ?
2、將本機公鑰文件復(fù)制到其他虛擬機上?
? ? ? ?注意：接收方需先開機
? ? ? ?在hadoop01上執(zhí)行，先輸入yes，后輸入對應(yīng)主機的密碼，三臺虛擬機配置操作相同：
? ? ? ?在虛擬機hadoop02，hadoop03都需要執(zhí)行，保證三臺主機都能夠免密登錄：
? ? ? ?
五、JDK安裝和Hadoop安裝?
1、準備安裝包?
? ? ? ?hadoop-2.7.4.tar.gz
? ? ? ?jdk-8u161-linux-x64.tar.gz
2、下載安裝軟件Xshell
? ? ? ?打開Xshell后點擊文件并選擇新建，名稱填hadoop01，主機填寫hadoop01的IP地址，再點擊用戶身份驗證，把hadoop01的賬號、密碼輸入，就可以通過Xshell控制虛擬機，方便后續(xù)軟件的傳輸、復(fù)制、粘貼。
? ? ? ?重復(fù)步驟新建會話控制hadoop02，hadoop03。
? ? ? ?出現(xiàn)下示界面，即為連接成功：
3、安裝JDK（所有虛擬機都要操作）
3.1 傳輸文件
? ? ? ?在Xshell先進入software文件內(nèi)，然后下載rz命令，并使用rz命令進行文件上傳，此時會彈出上傳的窗口，選擇要上傳的文件，點擊確定即可將本地文件上傳到Linux上。
?
?
?3.2 解壓JDK
? ? ? ?cd /export/software
? ? ? ?tar -zxvf jdk-8u161-linux-x64.tar.gz -C /export/servers/
?3.3 重命名JDK目錄
? ? ? ?cd /export/servers
? ? ? ?mv jdk1.8.0_161 jdk
3.4 配置環(huán)境變量
? ? ? ?
?3.5 使配置文件生效
? ? ? ?
3.6 查看是否配置成功
? ? ? ?（hadoop02、hadoop03都按上述步驟執(zhí)行一遍）
?4、Hadoop安裝（所有虛擬機都要操作）
4.1 傳輸文件
? ? ? ?遇到的問題：
? ? ? ?解決方法：
? ? ? ?雙擊左側(cè)會話，重新連接即可。
4.2 解壓Hadoop
? ? ? ?cd /export/software
? ? ? ?tar -zxvf hadoop-2.7.4.tar.gz -C /export/servers/?
4.3 打開配置文件?
? ? ? ?
?4.4 配置Hadoop環(huán)境變量
? ? ? ?
?4.5 使配置文件生效
? ? ? ?
?4.6 查看是否配置成功
? ? ? ?（hadoop02、hadoop03都按上述步驟執(zhí)行一遍）
六、Hadoop集群配置
1、進入主節(jié)點配置目錄
2、修改hadoop-env.sh文件
? ? ? ?
? ? ? ?上述配置文件中設(shè)置的是Hadoop運行時需要的JDK環(huán)境變量,目的是讓Hadoop啟動時能夠執(zhí)行守護進程。
3、修改core-site.xml文件
? ? ? ?
該文件是Hadoop的核心配置文件,其目的是配置HDFS地址、端口號,以及臨時文件目錄。
? ? ? ?在上述核心配置文件中,配置了HDFS的主進程NameNode運行主機(也就是此次Hadoop集群的主節(jié)點位置),同時配置了Hadoop運行時生成數(shù)據(jù)的臨時目錄。
?4、修改hdfs-site.xml文件
? ? ? ?
? ? ? ?該文件用于設(shè)置HDFS的 NameNode和 DataNode兩大進程。
? ? ? ?在上述配置文件中,配置了HDFS數(shù)據(jù)塊的副本數(shù)量，并根據(jù)需要設(shè)置了Secondary NameNode所在服務(wù)的HTTP協(xié)議地址。
5、修改mapred-site.xml文件
? ? ? ?在上述配置文件中,就是指定了Hadoop 的MapReduce運行框架為YARN。
6、修改yarn-site.xml文件?
? ? ? ?
? ? ? ?本文件是YARN框架的核心配置文件,需要指定YARN集群的管理者。
? ? ? ?
? ? ? ?在上述配置文件中,配置了YARN的主進程ResourceManager運行主機為hadoop01 ,同時配置了NodeManager運行時的附屬服務(wù),需要配置為mapreduce_shuffle才能正常運行MapReduce默認程序。
7、修改slaves文件
? ? ? ?
? ? ? ?該文件用于記錄Hadoop集群所有從節(jié)點（HDFS的 DataNode和 YARN 的NodeManager所在主機)的主機名,用來配合一鍵啟動腳本啟動集群從節(jié)點。
? ? ? ?
8、將主節(jié)點中配置好的文件和hadoop目錄copy給子節(jié)點?
9、使子節(jié)點中的配置文件生效?
? ? ? ?返回hadoop02和hadoop03節(jié)點執(zhí)行下面命令：
? ? ? ?
? ? ? ?
10、在主節(jié)點格式化文件系統(tǒng)?
? ? ? ?至此，整個集群所有節(jié)點就都有了hadoop運行所需要的環(huán)境和文件，hadoop集群也就安裝配置完成。但是此時還不能直接啟動集群,因為在初次啟動HDFS集群時,必須對主節(jié)點進行格式化處理,具體指令如下。
? ? ? ?
? ? ? ?出現(xiàn)successfully formatted 即為格式化成功
? ? ? ?另外需要注意的是,上述格式化指令只需要在 Hadoop集群初次啟動前執(zhí)行即可,后續(xù)重復(fù)啟動就不再需要執(zhí)行格式化了。
七、Hadoop集群測試
1、啟動集群
1.1 在主節(jié)點啟動所有HDFS服務(wù)進程
? ? ? ?上述使用腳本一鍵啟動的方式,先啟動了集群所有的HDFS服務(wù)進程,然后再啟動了所有的 YARN服務(wù)進程,這就完成了整個Hadoop集群服務(wù)的啟動。
1.2 使用jps命令查看進程
? ? ? ?
? ? ? ?
? ? ? ?
2、關(guān)閉防火墻（所有虛擬機都要操作）
? ? ? ?遇到的問題：
? ? ? ?
? ? ? ?解決方法：
? ? ? ?換用新的命令執(zhí)行：
? ? ? ?systemctl disable firewalld.service
? ? ? ?查看防火墻狀態(tài)，顯示操作成功：
?3、通過UI界面查看Hadoop運行狀態(tài)
? ? ? ?Hadoop集群正常啟動后,它默認開放了50070和8088兩個端口,分別用于監(jiān)控 HDFS集群和YARN集群。通過UI可以方便地進行集群的管理和查看,只需要在本地操作系統(tǒng)的瀏覽器輸入集群服務(wù)的IP和對應(yīng)的端口號即可訪問。
? ? ? ?在Windows系統(tǒng)下，訪問192.168.137.131:50070，查看HDFS集群狀態(tài)：
? ? ? ?在Windows系統(tǒng)下，訪問192.168.137.131:8088，查看Yarn集群狀態(tài)：
?4、查看java版本
5、查看hadoop版本?
?八、Hadoop集群案例
? ? ? ?通過Hadoop經(jīng)典案例——單詞統(tǒng)計,來演示 Hadoop集群的簡單使用。
? ? ? ?打開 HDFS的UI,選擇【Utilities】→【Browse the file system】查看分布式文件系統(tǒng)里的數(shù)據(jù)文件,可以看到新建的HDFS上沒有任何數(shù)據(jù)文件。
? ? ? ?先在集群主節(jié)點hadoop01 上的/export/data/目錄下，使用“vi word. txt”指令新建一個word.txt文本文件,并編寫一些單詞內(nèi)容。
? ? ? ?
? ? ? ?
? ? ? ?
? ? ? ?接著,在HDFS上創(chuàng)建/wordcount/input目錄,并將word. txt文件上傳至該目錄下,表示單詞統(tǒng)計源文件所在的目錄:
? ? ? ?
? ? ? ?返回HDFS查看是否創(chuàng)建成功：
? ? ? ?接下來，把word.txt文件從本地上傳到input目錄下：
? ? ? ?
? ? ? ?返回HDFS查看是否上傳成功：
? ? ? ?運行jar包，實現(xiàn)詞頻統(tǒng)計：
? ? ? ?正在運行：
? ? ? ?上傳完成：
? ? ? ?查看輸出目錄下的文件，是否完成單詞統(tǒng)計：
? ? ? ?在C:\ Windows\System32\drivers\etc中添加集群服務(wù)的IP映射：
? ? ? ?單詞統(tǒng)計結(jié)果，顯示成功：
文章來源：http://www.zghlxwxcb.cn/news/detail-713915.html
? ? ? ?綜上所述，Hadoop集群搭建成功。文章來源地址http://www.zghlxwxcb.cn/news/detail-713915.html
到了這里，關(guān)于【云平臺技術(shù)】Hadoop全分布式安裝與配置的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
