国产无码综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

<video id="gqx25"></video>

^{<tfoot id="gqx25"></tfoot>}

大數(shù)據(jù)學(xué)習(xí)02-Hadoop分布式集群部署

2年前作者：小火柴012分類：Toy博客閱讀(22)違法舉報(bào)

這篇具有很好參考價(jià)值的文章主要介紹了大數(shù)據(jù)學(xué)習(xí)02-Hadoop分布式集群部署。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方，請(qǐng)大家不吝賜教，您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

操作系統(tǒng)：centos7
軟件環(huán)境：jdk8、hadoop-2.8.5

一、創(chuàng)建虛擬機(jī)

1.下載VMware,建議支持正版
大數(shù)據(jù)學(xué)習(xí)02-Hadoop分布式集群部署,大數(shù)據(jù),大數(shù)據(jù),分布式,學(xué)習(xí)
2.安裝到Widows目錄下任意位置即可，安裝目錄自定義。打開VMware，界面如下：

3.創(chuàng)建虛擬機(jī)

創(chuàng)建虛擬機(jī)—>選擇自定義
大數(shù)據(jù)學(xué)習(xí)02-Hadoop分布式集群部署,大數(shù)據(jù),大數(shù)據(jù),分布式,學(xué)習(xí)
這一步按照默認(rèn)的配置就好

選擇系統(tǒng)，安裝程序光盤映像文件iso，這里需要下載cenos鏡像文件
給虛擬機(jī)命名，選擇虛擬機(jī)安裝位置
大數(shù)據(jù)學(xué)習(xí)02-Hadoop分布式集群部署,大數(shù)據(jù),大數(shù)據(jù),分布式,學(xué)習(xí) 處理器配置

內(nèi)存配置

配置虛擬機(jī)網(wǎng)絡(luò)連接方式

選擇I/O控制器
大數(shù)據(jù)學(xué)習(xí)02-Hadoop分布式集群部署,大數(shù)據(jù),大數(shù)據(jù),分布式,學(xué)習(xí)
創(chuàng)建磁盤

設(shè)置磁盤大小

選擇虛擬磁盤存放地址

檢查虛擬機(jī)配置，如果沒有什么問題，點(diǎn)擊完成
大數(shù)據(jù)學(xué)習(xí)02-Hadoop分布式集群部署,大數(shù)據(jù),大數(shù)據(jù),分布式,學(xué)習(xí)
啟動(dòng)虛擬機(jī)，鼠標(biāo)點(diǎn)擊虛擬機(jī)屏幕，使用鍵盤上下鍵移動(dòng)光標(biāo)位置，光標(biāo)在Install CentOS 7處，按下enter鍵
大數(shù)據(jù)學(xué)習(xí)02-Hadoop分布式集群部署,大數(shù)據(jù),大數(shù)據(jù),分布式,學(xué)習(xí)
等待系統(tǒng)進(jìn)入CentOS安裝界面，選擇簡(jiǎn)體中文

設(shè)置時(shí)區(qū)，選擇亞洲–上海
軟件選擇,GNOME桌面
大數(shù)據(jù)學(xué)習(xí)02-Hadoop分布式集群部署,大數(shù)據(jù),大數(shù)據(jù),分布式,學(xué)習(xí)
選擇自動(dòng)配置分區(qū)

點(diǎn)擊開始安裝

設(shè)置root密碼

創(chuàng)建用戶

等待…安裝完成，重啟虛擬機(jī)
大數(shù)據(jù)學(xué)習(xí)02-Hadoop分布式集群部署,大數(shù)據(jù),大數(shù)據(jù),分布式,學(xué)習(xí)
初始設(shè)置，完成授權(quán)

進(jìn)入centos登錄界面

二、配置虛擬機(jī)網(wǎng)絡(luò)

編輯—>虛擬機(jī)網(wǎng)絡(luò)編輯器–>NAT模式–>DHCP設(shè)置
大數(shù)據(jù)學(xué)習(xí)02-Hadoop分布式集群部署,大數(shù)據(jù),大數(shù)據(jù),分布式,學(xué)習(xí)
查看網(wǎng)絡(luò)信息

打開終端面板，進(jìn)入root模式

vi /etc/sysconfig/network-scripts/ifcfg-ens33

修改網(wǎng)絡(luò)配置，配置如下：
大數(shù)據(jù)學(xué)習(xí)02-Hadoop分布式集群部署,大數(shù)據(jù),大數(shù)據(jù),分布式,學(xué)習(xí)
使用wq命令保存，使用下面命令重啟網(wǎng)絡(luò)服務(wù)

service network restart

免密登錄配置

修改主機(jī)名稱

vi /etc/hostname

編輯映射文件hosts

vi /etc/hosts

添加如下配置

192.168.245.200 master 
192.168.245.201 slave1
192.168.245.202 slave2

# 生成公鑰與私鑰（三次回車）
ssh-keygen -t rsa

將~/.ssh/id_rsa.pub 分發(fā)到節(jié)點(diǎn)服務(wù)器的~/.ssh目錄下，并重命名為 authorized_keys

for i in {1..2};do scp -r ~/.ssh/authorized_keys root@slave${i}:~/.ssh/;done

這樣便可以實(shí)現(xiàn)不同節(jié)點(diǎn)服務(wù)器免密登錄
大數(shù)據(jù)學(xué)習(xí)02-Hadoop分布式集群部署,大數(shù)據(jù),大數(shù)據(jù),分布式,學(xué)習(xí)
每臺(tái)服務(wù)器都需要配置

三、安裝jdk

上傳jdk到linux系統(tǒng)，這里使用jdk1.8版本
大數(shù)據(jù)學(xué)習(xí)02-Hadoop分布式集群部署,大數(shù)據(jù),大數(shù)據(jù),分布式,學(xué)習(xí)
將其解壓到指定目錄下

tar -zxvf jdk-8u301-linux-x64.tar.gz -C /home/local/

移動(dòng)至java目錄

mv jdk1.8.0_301 java

配置環(huán)境

vim /etc/profile

添加如下配置

#java
export JAVA_HOME=/home/local/java
export JRE_HOME=/home/local/java/jre
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

source /etc/profile

在終端輸入java -version，出現(xiàn)下面信息，說明配置成功。
大數(shù)據(jù)學(xué)習(xí)02-Hadoop分布式集群部署,大數(shù)據(jù),大數(shù)據(jù),分布式,學(xué)習(xí)

四、安裝hadoop

上傳hadoop安裝包到linux系統(tǒng)，這里使用hadoop2.8.5版本
大數(shù)據(jù)學(xué)習(xí)02-Hadoop分布式集群部署,大數(shù)據(jù),大數(shù)據(jù),分布式,學(xué)習(xí)
解壓安裝包

tar -zxvf hadoop-2.8.5.tar.gz -C /home/local/

移動(dòng)至hadoop目錄

 mv hadoop-2.8.5/ hadoop

配置hadoop環(huán)境

vi /etc/profile

添加如下配置

#hadoop
export HADOOP_HOME=/home/local/hadoop
export PATH=$PATH:${HADOOP_HOME}/bin

使用配置的環(huán)境變量立即生效

source /etc/profile

配置 hadoop-env.sh 文件,指定java安裝目錄

cd $HADOOP_HOME/etc/hadoop

修改hadoop-env.sh文件

vi /hadoop-env.sh

配置如下

export JAVA_HOME=/home/local/java

配置Hadoop主要文件

核心配置文件 —— core-site.xml

HDFS 配置文件 —— hdfs-site.xml

YARN 配置文件 —— yarn-site.xml

MapReduce 配置文件 —— mapred-site.xml

1.core-site.xml

<configuration>
<!-- 指定 NameNode 的地址 -->
   <property>
      <name>fs.defaultFS</name>
      <value>hdfs://master:9000</value>
   </property>
<!-- 指定 Hadoop 數(shù)據(jù)的存儲(chǔ)目錄 -->
   <property>
      <name>hadoop.tmp.dir</name>
      <value>/opt/hadoop/tmp</value>
   </property>
<!-- 配置 HDFS 網(wǎng)頁(yè)登錄使用的靜態(tài)用戶為 master -->
   <property>
      <name>hadoop.http.staticuser.user</name>
      <value>master</value>
   </property>
</configuration>

2.hdfs-site.xml

<configuration>
    <property>
       <name>dfs.replication</name>
       <value>3</value>
    </property>
    <property>
       <name>dfs.namenode.name.dir</name>
       <value>file:/opt/hadoop/dfs/name</value>
    </property>
    <property>
       <name>dfs.datanode.data.dir</name>
       <value>file:/opt/hadoop/dfs/data</value>
    </property>
    <property>
       <name>dfs.namenode.http-address</name>
       <value>master:9870</value>
    </property>
    <property>
       <name>dfs.namenode.secondary.http-address</name>
       <value>slave2:9871</value>
    </property>
</configuration>

3.yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
   <!-- 指定 MR 走 shuffle -->
   <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
   </property>

   <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>
   
   <property>
       <name>yarn.resourcemanager.address</name>
       <value>master:8032</value>
   </property>
   <property>
       <name>yarn.resourcemanager.scheduler.address</name>
       <value>master:8030</value>
   </property>
   <property>
       <name>yarn.resourcemanager.resource-tracker.address</name>
       <value>master:8031</value>
   </property>
   <property>
       <name>yarn.resourcemanager.admin.address</name>
       <value>master:8033</value>
   </property>
   <!-- 指定 客戶端web 的地址-->
   <property>
       <name>yarn.resourcemanager.webapp.address</name>
       <value>master:8088</value>
   </property>

   <!-- 環(huán)境變量的繼承 -->
   <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
   </property>

   <!-- 如果要程序的運(yùn)行日志信息上傳到HDFS系統(tǒng)上，可配置日志聚集（選擇配置） -->
   <!-- 開啟日志聚集功能 -->
   <property>
     <name>yarn.log-aggregation-enable</name>
     <value>true</value>
   </property>
   <!-- 設(shè)置日志聚集服務(wù)器地址 -->
   <property>
     <name>yarn.log.server.url</name>
     <value>http://master:19888/jobhistory/logs</value>
   </property>
  <!-- 設(shè)置日志保留時(shí)間為7天 -->
   <property>
     <name>yarn.log-aggregation.retain-seconds</name>
     <value>604800</value>
   </property>
</configuration>

4.mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>master:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>master:19888</value>
    </property>
</configuration>

五、啟動(dòng)hadoop

將hadoop分發(fā)到每個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)都要進(jìn)行格式化，進(jìn)入$HADOOP_HOME/bin目錄下

$HADOOP_HOME/bin/hdfs namenode -format

進(jìn)入$HADOOP_HOME的sbin目錄下，分別啟動(dòng)hdfs和yarn

./start-dfs.sh && ./start-yarn.sh

使用jps命令查看進(jìn)程
大數(shù)據(jù)學(xué)習(xí)02-Hadoop分布式集群部署,大數(shù)據(jù),大數(shù)據(jù),分布式,學(xué)習(xí)
六、訪問Web UI界面
客戶端Web頁(yè)面
http://192.168.245.200:8088/cluster/nodes

hdfs頁(yè)面
文章來源地址http://www.zghlxwxcb.cn/news/detail-578501.html

到了這里，關(guān)于大數(shù)據(jù)學(xué)習(xí)02-Hadoop分布式集群部署的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來自互聯(lián)網(wǎng)用戶投稿，該文觀點(diǎn)僅代表作者本人，不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載，請(qǐng)注明出處：如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符，請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋，一經(jīng)查實(shí)，立即刪除！

分享到：

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

大數(shù)據(jù)技術(shù)棧-Hadoop3.3.4-完全分布式集群搭建部署-centos7（完全超詳細(xì)-小白注釋版）虛擬機(jī)安裝+平臺(tái)部署
目錄環(huán)境條件： 1、安裝虛擬機(jī)（已安裝好虛擬機(jī)的可跳轉(zhuǎn)至? 二、安裝JDK與Hadoop）（1）直接新建一臺(tái)虛擬機(jī) （2）首次啟用虛擬機(jī)，進(jìn)行安裝一、集群前置環(huán)境搭建（三臺(tái)機(jī)器分別設(shè)置hostname、網(wǎng)卡（ip）配置、ssh免密登錄） 1、查看一下本機(jī)與虛擬機(jī)的網(wǎng)卡和ip信息（1）
2024年02月06日
瀏覽(31)
Hadoop3.3.5最新版本安裝分布式集群部署
Index of /dist/hadoop/common https://archive.apache.org/dist/hadoop/common ?集群規(guī)劃：注意： NameNode和SecondaryNameNode不要安裝在同一臺(tái)服務(wù)器 ResourceManager也很消耗內(nèi)存，不要和NameNode、SecondaryNameNode配置在同一臺(tái)機(jī)器上。機(jī)器 ip 分配節(jié)點(diǎn) node01 192.168.56.201 NameNode 、DataNode、NodeManager node02 192.
2024年02月01日
瀏覽(42)
hadoop完全分布式集群搭建（超詳細(xì)）-大數(shù)據(jù)集群搭建
本次搭建完全分布式集群用到的環(huán)境有： jdk1.8.0 hadoop-2.7.7 本次搭建集群所需環(huán)境也給大家準(zhǔn)備了，下載鏈接地址：https://share.weiyun.com/dk7WgaVk 密碼：553ubk 本次完全分布式集群搭建需要提前建立好三臺(tái)虛擬機(jī)，我分別把它們的主機(jī)名命名為:master,slave1,slave2 一.配置免密登陸首先
2024年02月10日
瀏覽(30)
大數(shù)據(jù)內(nèi)容分享(九)：Hadoop-生產(chǎn)集群搭建（完全分布式）
目錄 Hadoop運(yùn)行模式——完全分布式 1、準(zhǔn)備3臺(tái)虛擬機(jī)（關(guān)閉防火墻、配置靜態(tài)IP 和主機(jī)名稱） 2、安裝JDK 和 Hadoop 并配置JDK和Hadoop的環(huán)境變量 3、配置完全分布式集群 4、集群配置 1）集群部署規(guī)劃 2）配置文件說明 3）配置集群 5、集群?jiǎn)?dòng) 與測(cè)試 1）workers的配置 2）啟動(dòng)集
2024年02月21日
瀏覽(24)
大數(shù)據(jù)開發(fā)·關(guān)于虛擬機(jī)Hadoop完全分布式集群搭建教程
官網(wǎng)鏈接進(jìn)入后網(wǎng)站如圖，各位按需下載官網(wǎng)鏈接進(jìn)入頁(yè)面點(diǎn)擊下載再根據(jù)我們需要下載的軟件進(jìn)入下載頁(yè)面點(diǎn)擊右側(cè)紅框內(nèi)的免費(fèi)授權(quán)頁(yè)面獲取免費(fèi)許可進(jìn)入后如圖，兩者我們都需要所以都勾選，填寫的郵箱用于接收下載鏈接，下載后進(jìn)行安裝即可這里先和大家強(qiáng)調(diào)一
2024年02月07日
瀏覽(32)
39學(xué)習(xí)分布式計(jì)算框架 Hadoop 的高可用方案，如 NameNode 集群、ZooKeeper
Hadoop 是一個(gè)分布式計(jì)算框架，用于存儲(chǔ)和處理大數(shù)據(jù)。在 Hadoop 集群中，NameNode 是一個(gè)關(guān)鍵組件，它負(fù)責(zé)管理 Hadoop 分布式文件系統(tǒng)（HDFS）中的文件和目錄。為了確保高可用性，需要使用多個(gè) NameNode 節(jié)點(diǎn)進(jìn)行冗余備份，并使用 ZooKeeper 進(jìn)行故障檢測(cè)和自動(dòng)故障切換。以下是學(xué)
2023年04月26日
瀏覽(28)
【生產(chǎn)級(jí)實(shí)踐】Docker部署配置Hadoop3.x + HBase2.x實(shí)現(xiàn)真正分布式集群環(huán)境
網(wǎng)上找了很多資料，但能夠?qū)崿F(xiàn)Docker安裝Hadoop3.X和Hbase2.X真正分布式集群的教程很零散，坑很多，把經(jīng)驗(yàn)做了整理，避免趟坑。 1、機(jī)器環(huán)境這里采用三臺(tái)機(jī)器來部署分布式集群環(huán)境： 192.168.1.101 hadoop1 （docker管理節(jié)點(diǎn)） 192.168.1.102 hadoop2 192.168.1.103 hadoop3 2、下載Docker Hadoop的
2024年02月02日
瀏覽(25)
（大數(shù)據(jù)開發(fā)隨筆9）Hadoop 3.3.x分布式環(huán)境部署——全分布式模式
分布式文件系統(tǒng)中，HDFS相關(guān)的守護(hù)進(jìn)程也分布在不同的機(jī)器上，如： NameNode守護(hù)進(jìn)程，盡可能單獨(dú)部署在一臺(tái)硬件性能較好的機(jī)器中其他的每臺(tái)機(jī)器上都會(huì)部署一個(gè)DataNode進(jìn)程，一般的硬件環(huán)境即可 SecondaryNameNode守護(hù)進(jìn)程最好不要和NameNode在同一臺(tái)機(jī)器上守護(hù)進(jìn)程布局 Name
2023年04月16日
瀏覽(23)
Hadoop分布式集群安裝
????????上一篇大數(shù)據(jù)文章講解了在單機(jī)上搭建Hadoop-Yarn 偽分布式集群的安裝方法，方便大家學(xué)習(xí)，真實(shí)環(huán)境不可能只有一臺(tái)機(jī)器，肯定是多節(jié)點(diǎn)的集群，大單位還會(huì)建設(shè)很多Hadoop集群，比如各個(gè)大部門有自己的集群，或者按熱、溫、冷來劃分建立集群，反正都是很多臺(tái)服
2024年01月19日
瀏覽(26)
Hadoop分布式集群搭建
集群以三臺(tái)電腦搭建，每臺(tái)電腦創(chuàng)建一個(gè)UbuntuKylin虛擬機(jī)，集群以三臺(tái)UbuntuKylin虛擬機(jī)為基礎(chǔ)搭建，虛擬機(jī)主機(jī)名分別為hadoop101、hadoop111和hadoop121。IP地址分別為192.168.214.101、192.168.214.111和192.168.214.121。主機(jī)名 IP地址： hadoop101 192.168.214.101 hadoop111 192.168.214.111 hadoop121 192.168.214
2024年02月03日
瀏覽(23)

<dd id="vmvj8"></dd>

<object id="vmvj8"></object>

<object id="vmvj8"></object>