国产无码综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

大數(shù)據(jù)技術(shù)之Hadoop-運(yùn)行環(huán)境搭建

2年前作者：半間煙雨分類：Toy博客閱讀(17)違法舉報(bào)

這篇具有很好參考價(jià)值的文章主要介紹了大數(shù)據(jù)技術(shù)之Hadoop-運(yùn)行環(huán)境搭建。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方，請大家不吝賜教，您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

Hadoop 運(yùn)行環(huán)境搭建

?一、VMware準(zhǔn)備Linux虛擬機(jī)?

?1. 設(shè)置VMware網(wǎng)段

?在VMware的虛擬網(wǎng)絡(luò)編輯器中，將VMnet8虛擬網(wǎng)卡的：

網(wǎng)段設(shè)置為：192.168.88.0
網(wǎng)關(guān)設(shè)置為：192.168.88.2

大數(shù)據(jù)技術(shù)之Hadoop-運(yùn)行環(huán)境搭建,Hadoop,linux,運(yùn)維,服務(wù)器

?2. 下載CentOS操作系統(tǒng)

首先，我們需要下載操作系統(tǒng)的安裝文件，本次使用CentOS7.6版本進(jìn)行學(xué)習(xí)：

https://vault.centos.org/7.6.1810/isos/x86_64/

首先，我們需要下載操作系統(tǒng)的安裝文件，本次使用CentOS7.6版本進(jìn)行學(xué)習(xí)：?

大數(shù)據(jù)技術(shù)之Hadoop-運(yùn)行環(huán)境搭建,Hadoop,linux,運(yùn)維,服務(wù)器

?或者直接使用如下鏈接下載：

https://vault.centos.org/7.6.1810/isos/x86_64/CentOS-7-x86_64-DVD-1810.iso

3. 在VMware中安裝CentOS操作系統(tǒng)

打開VMware軟件

大數(shù)據(jù)技術(shù)之Hadoop-運(yùn)行環(huán)境搭建,Hadoop,linux,運(yùn)維,服務(wù)器

按照步驟創(chuàng)建虛擬機(jī)：

大數(shù)據(jù)技術(shù)之Hadoop-運(yùn)行環(huán)境搭建,Hadoop,linux,運(yùn)維,服務(wù)器

點(diǎn)擊完成后，即開啟了CentOS系統(tǒng)的安裝，耐心等待安裝完成即可，后續(xù)都是自動化的。

大數(shù)據(jù)技術(shù)之Hadoop-運(yùn)行環(huán)境搭建,Hadoop,linux,運(yùn)維,服務(wù)器

點(diǎn)擊用戶名：

大數(shù)據(jù)技術(shù)之Hadoop-運(yùn)行環(huán)境搭建,Hadoop,linux,運(yùn)維,服務(wù)器 ?

體驗(yàn)Linux的快樂吧。

大數(shù)據(jù)技術(shù)之Hadoop-運(yùn)行環(huán)境搭建,Hadoop,linux,運(yùn)維,服務(wù)器

4. 配置多臺Linux虛擬機(jī)

我們可以使用VMware提供的克隆功能，基于一臺虛擬機(jī)去克隆創(chuàng)建多臺虛擬機(jī)。

首先，在VMware中，創(chuàng)建一個文件夾，起名為大數(shù)據(jù)集群

大數(shù)據(jù)技術(shù)之Hadoop-運(yùn)行環(huán)境搭建,Hadoop,linux,運(yùn)維,服務(wù)器

克隆

大數(shù)據(jù)技術(shù)之Hadoop-運(yùn)行環(huán)境搭建,Hadoop,linux,運(yùn)維,服務(wù)器

同樣的操作克隆出：node2和node3

大數(shù)據(jù)技術(shù)之Hadoop-運(yùn)行環(huán)境搭建,Hadoop,linux,運(yùn)維,服務(wù)器

對虛擬機(jī)的內(nèi)存進(jìn)行配置：

node1配置為4G內(nèi)存
node2、node3配置為2G內(nèi)存

二、VMware虛擬機(jī)系統(tǒng)設(shè)置

1. 對三臺虛擬機(jī)完成主機(jī)名、固定IP、SSH免密登陸等系統(tǒng)設(shè)置

1. 1 配置固定IP地址

開啟node1，修改主機(jī)名為node1，并修改固定ip為：192.168.88.131

#修改主機(jī)名
hostnamectl set-hostname node1

#修改IP地址
vim /etc/sysconfig/network-scripts/ifcfg-ens33
IPADDR="192.168.88.131"

#重啟網(wǎng)卡
systemctl stop network
systemctl start network#

#或者直接
systemctl restart network

同樣的操作啟動node2和node3,

修改node2主機(jī)名為node2，設(shè)置ip為192.168.88.132

修改node2主機(jī)名為node3，設(shè)置ip為192.168.88.133

1.2 配置主機(jī)名映射

在Windows系統(tǒng)中修改hosts文件，填入如下內(nèi)容：

192.168.88.131 node1
192.168.88.132 node2
192.168.88.133 node3

在3臺Linux的/etc/hosts文件中，填入如下內(nèi)容（3臺都要添加）

192.168.88.131 node1
192.168.88.132 node2
192.168.88.133 node3

?1.3 配置SSH免密登錄

后續(xù)安裝的集群化軟件，多數(shù)需要遠(yuǎn)程登錄以及遠(yuǎn)程執(zhí)行命令，我們可以簡單起見，配置三臺Linux服務(wù)器之間的免密碼互相SSH登陸

????????在每一臺機(jī)器都執(zhí)行：`ssh-keygen -t rsa -b 4096`，一路回車到底即可。

????????在每一臺機(jī)器都執(zhí)行：

ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

????????執(zhí)行完畢后，node1、node2、node3之間將完成root用戶之間的免密互通

1.4 創(chuàng)建hadoop用戶并配置免密登錄

后續(xù)大數(shù)據(jù)的軟件，將不會以root用戶啟動（確保安全，養(yǎng)成良好的習(xí)慣）

我們?yōu)榇髷?shù)據(jù)的軟件創(chuàng)建一個單獨(dú)的用戶hadoop，并為三臺服務(wù)器同樣配置hadoop用戶的免密互通

????????1. 在每一臺機(jī)器執(zhí)行：useradd hadoop，創(chuàng)建hadoop用戶

????????2. 在每一臺機(jī)器執(zhí)行：passwd hadoop，設(shè)置hadoop用戶密碼為123456

????????3. 在每一臺機(jī)器均切換到hadoop用戶：su - hadoop，并執(zhí)行 ssh-keygen -t rsa -b 4096，創(chuàng)建ssh密鑰

?????? 4 在每一臺機(jī)器均執(zhí)行

ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

2. JDK環(huán)境部署?

2.1 什么是JDK為什么需要部署它

????????JDK：Java Development Kit，是用于Java語言開發(fā)的環(huán)境。

????????大數(shù)據(jù)的很多軟件的運(yùn)行都需要有Java運(yùn)行環(huán)境的支持，所以我們在三臺服務(wù)器上，預(yù)先都部署好JDK環(huán)境。

2.2 配置JDK環(huán)境

????????下載JDK軟件：https://www.oracle.com/java/technologies/downloads

在頁面下方找到：

大數(shù)據(jù)技術(shù)之Hadoop-運(yùn)行環(huán)境搭建,Hadoop,linux,運(yùn)維,服務(wù)器

下載jdk-8u361-linux-x64.tar.gz

大數(shù)據(jù)技術(shù)之Hadoop-運(yùn)行環(huán)境搭建,Hadoop,linux,運(yùn)維,服務(wù)器

1.創(chuàng)建文件夾，用來部署JDK，將JDK和Tomcat都安裝部署到：/export/server 內(nèi)

mkdir -p /export/server

2. 解壓縮JDK安裝文件

tar -zxvf jdk-8u351-linux-x64.tar.gz-C /export/server

3. 配置JDK的軟鏈接

ln-s /export/server/jdk1.8.0_351 /export/server/jdk

?4. 配置JAVA_HOME環(huán)境變量，以及將$JAVA_HOME/bin文件夾加入PATH環(huán)境變量中

# 編輯/etc/profile文件
export JAVA_HOME=/export/server/jdk
export PATH=$PATH:$JAVA_HOME/bin

5. 生效環(huán)境變量

source /etc/profile

?6. 配置java執(zhí)行程序的軟鏈接

# 刪除系統(tǒng)自帶的java程序
rm -f /usr/bin/java
# 軟鏈接我們自己安裝的java程序
Ln-s /export/server/idk/bin/java /usr/bin/java

7. 執(zhí)行驗(yàn)證

java -version
javac -version

3. 防火墻、SELinux、時間同步

關(guān)閉防火墻和SELinux

集群化軟件之間需要通過端口互相通訊，為了避免出現(xiàn)網(wǎng)絡(luò)不通的問題，我們可以簡單的在集群內(nèi)部關(guān)閉防火墻。

# 每臺機(jī)器執(zhí)行
systemctl stop firewalld
systemctl disable firewalld

Linux有一個安全模塊：SELinux，用以限制用戶和程序的相關(guān)權(quán)限，來確保系統(tǒng)的安全穩(wěn)定。

在當(dāng)前，我們只需要關(guān)閉SELinux功能，避免導(dǎo)致后面的軟件運(yùn)行出現(xiàn)問題即可

# 每臺機(jī)器執(zhí)行
vim /etc/sysconfig/selinux

#將第七行，SELINUX=enforcing 改為
SELINUX=disabled
#保存退出后，重啟虛擬機(jī)即可，千萬要注意disabled單詞不要寫錯，不然無法啟動系統(tǒng)

4. 修改時區(qū)并配置自動時間同步?

以下操作在三臺Linux均執(zhí)行

1. 安裝ntp軟件

yum install -y ntp

?2. 更新時區(qū)

rm -f /etc/localtime;sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

3. 同步時間

ntpdate -u ntp.aliyun.com

4. 開啟ntp服務(wù)并設(shè)置開機(jī)自啟

systemctl start ntpd
systemctl enable ntpd

5. 設(shè)置快照?

目前Linux虛擬機(jī)的狀態(tài)基本準(zhǔn)備就緒，可以對當(dāng)前狀態(tài)進(jìn)行快照保存，以備后續(xù)恢復(fù)。

對三臺虛擬機(jī)均執(zhí)行拍攝快照。

大數(shù)據(jù)技術(shù)之Hadoop-運(yùn)行環(huán)境搭建,Hadoop,linux,運(yùn)維,服務(wù)器文章來源地址http://www.zghlxwxcb.cn/news/detail-838212.html

到了這里，關(guān)于大數(shù)據(jù)技術(shù)之Hadoop-運(yùn)行環(huán)境搭建的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來自互聯(lián)網(wǎng)用戶投稿，該文觀點(diǎn)僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載，請注明出處：如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符，請點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋，一經(jīng)查實(shí)，立即刪除！

分享到：

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

Hadoop運(yùn)行環(huán)境搭建
0）安裝模板虛擬機(jī)，IP 地址 192.168.10.100 、主機(jī)名稱 hadoop100 、內(nèi)存 4G 、硬盤 50G 1）hadoop100 虛擬機(jī)配置要求如下 1.使用 yum 安裝需要虛擬機(jī)可以正常上網(wǎng)，yum 安裝前可以先測試下虛擬機(jī)聯(lián)網(wǎng)情況
2024年02月13日
瀏覽(19)
虛擬機(jī)上搭建Hadoop運(yùn)行環(huán)境
下載并安裝VMware，這里不做贅述，具體步驟可自行百度。本篇文章使用的VMware15版本演示，其他版本步驟同理。 2.1硬件部分注意：這里不能超過自己電腦內(nèi)核總數(shù) 打開任務(wù)管理器（快捷鍵 ctrl + alt +del），查看電腦內(nèi)核總數(shù): 查看到我電腦是有8個CPU內(nèi)核假如我們未來要克隆
2024年02月04日
瀏覽(19)
Hadoop 運(yùn)行環(huán)境搭建（開發(fā)重點(diǎn)）
將 hadoop 的安裝包和 jdk 的安裝包，上傳到 hadoop102 的 /opt/software 目錄下輸入命令： tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/ 將jdk壓縮包解壓到 /opt 目錄下輸入命令： mv jdk1.8.0_212/ jdk1.8 包的名字太長了我們給他改成 jdk1.8 然后接下來，配置jdk的環(huán)境變量輸入命令： vim /etc/profile 添
2024年02月07日
瀏覽(22)
Hadoop——Hive運(yùn)行環(huán)境搭建
Windows：10? ? ? ? ?JDK：1.8? ? ? ? ?Apache Hadoop：2.7.0 Apache Hive：2.1.1? ? ? ? ?Apache Hive src：1.2.2? ? ? ? ?MySQL：5.7 1、下載 Hadoop搭建 Apache Hive 2.1.1：https://archive.apache.org/dist/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz Apache Hive 1.2.2 src：https://archive.apache.org/dist/hive/hive-1.2.2/apache-hive-1.
2024年02月16日
瀏覽(22)
Linux CentOS下大數(shù)據(jù)環(huán)境搭建（zookeeper+hadoop+hbase+spark+scala）
本篇文章是結(jié)合我個人學(xué)習(xí)經(jīng)歷所寫，如果遇到什么問題或者我有什么錯誤，歡迎討論。百度網(wǎng)盤鏈接：https://pan.baidu.com/s/1DCkQQVYqYHYtPws9hWGpgw?pwd=zh1y 提取碼：zh1y 軟件在連接中VMwareWorkstation_V16.2.1_XiTongZhiJia的文件夾下。雙擊運(yùn)行安裝包，這里下一步即可。這里勾選我接受許可
2024年04月15日
瀏覽(62)
Linux服務(wù)器集群-大數(shù)據(jù)基礎(chǔ)環(huán)境搭建指南
本文將構(gòu)建三臺Linux服務(wù)器（node1、node2、node3），通過相關(guān)配置，搭建出一個Linux服務(wù)器集群環(huán)境適用于大數(shù)據(jù)的開發(fā)學(xué)習(xí)。本文使用的VMware版本為：VMware16；本文環(huán)境搭建使用到的Linux發(fā)行版本為：CentOS7；本文的電腦操作環(huán)境為：windows11。首先,需要根據(jù)之前發(fā)文中的流程
2024年02月07日
瀏覽(27)
vm安裝，虛擬環(huán)境搭建win+linux+mac，及本機(jī)連接虛擬環(huán)境數(shù)據(jù)庫、windows服務(wù)器搭建、內(nèi)網(wǎng)穿透
教程中的軟件、鏡像、工具可去阿里云盤提?。?阿里云盤：https://www.aliyundrive.com/s/CLdTjFtnYbr 提取碼：s1a8 一、安裝虛擬機(jī) 下載鏈接：https://www.vmware.com/products/workstation-pro.html 下載的過程中可能需要注冊登錄下載vm 后雙擊安裝即可 vm安裝成功后，需要激活二、安裝windows虛擬機(jī)
2024年02月08日
瀏覽(115)
大數(shù)據(jù)平臺運(yùn)維（hadoop入門（保姆篇））----概述及基本環(huán)境配置(HA-1)
2022.12.4? 大數(shù)據(jù)運(yùn)維基礎(chǔ)篇本章主要是基礎(chǔ)壞境配置目錄前言 ?一、hadoop是什么？ 1.1 Hadoop 是什么 1.2 Hadoop 優(yōu)勢 1.3 Hadoop 組成 ?二、大數(shù)據(jù)技術(shù)體系 ? ? ? ? ? ? ? ? ??2.1 HDFS 架構(gòu)概述Hadoop Distributed File System，簡稱HDFS，是一個分布式文件系統(tǒng)。 2.2 YARN 架構(gòu)概述 2.3 MapRed
2024年02月08日
瀏覽(28)
【大數(shù)據(jù)】Hadoop運(yùn)行模式（集群搭建）
Hadoop 運(yùn)行模式包括：本地模式、偽分布式模式以及完全分布式模式。本地模式（Local/Standalone Mode）：單臺服務(wù)器，數(shù)據(jù)存儲在Linux本地。生產(chǎn)環(huán)境幾乎不會采用該模式偽分布式模式（Pseudo-Distributed Mode）：單臺服務(wù)器，數(shù)據(jù)存儲在HDFS上。有較少的小型公司采用該模式。完全
2024年02月03日
瀏覽(20)
Linux環(huán)境搭建Hadoop及完全分布式集群
Hadoop是一個開源的分布式計(jì)算框架，旨在處理大規(guī)模數(shù)據(jù)集和進(jìn)行并行計(jì)算。核心包括兩個組件：HFDS、MapReduce。配置方案各虛擬機(jī)的用戶名分別為test0、test1、test2，主機(jī)名為hadoop100、hadoop101、hadoop102 虛擬機(jī)的分配如下： hadoop100：NameNode + ResourceManager hadoop101：DataNode + NodeM
2024年03月23日
瀏覽(36)