国产无码综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

<bdo id="gfa6k"><dfn id="gfa6k"></dfn></bdo>

<tr id="gfa6k"></tr>

<strong id="gfa6k"><center id="gfa6k"></center></strong>

【大數(shù)據存儲與處理】1. hadoop單機偽分布安裝和集群安裝

2年前作者：唐生一分類：Toy博客閱讀(37)違法舉報

這篇具有很好參考價值的文章主要介紹了【大數(shù)據存儲與處理】1. hadoop單機偽分布安裝和集群安裝。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方，請大家不吝賜教，您也可以點擊"舉報違法"按鈕提交疑問。

0. 寫在前面

0.1 軟件版本

hadoop2.10.2
ubuntu20.04
openjdk-8-jdk

0.2 hadoop介紹

Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎架構。用戶可以在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進行高速運算和存儲。Hadoop實現(xiàn)了一個分布式文件系統(tǒng)（ Distributed File System），其中一個組件是HDFS（Hadoop Distributed File System）。HDFS有高容錯性的特點，并且設計用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）來訪問應用程序的數(shù)據，適合那些有著超大數(shù)據集（large data set）的應用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問（streaming access）文件系統(tǒng)中的數(shù)據。Hadoop的框架最核心的設計就是：HDFS和MapReduce。HDFS為海量的數(shù)據提供了存儲，而MapReduce則為海量的數(shù)據提供了計算 .—百度詞條hadoop

1. 創(chuàng)建hadoop用戶

lynn@lynn:~$ sudo useradd -m hduser -s /bin/bash	# 創(chuàng)建用戶hduser 并指定使用bash終端作為shell
lynn@lynn:~$ cd /home
lynn@lynn:~$ ls
hduser lynn	# 代表用戶創(chuàng)建成功
lynn@lynn:~$ sudo passwd hduser					# 設置密碼
lynn@lynn:~$ sudo adduser hduser sudo				# 為hduser增加管理員權限
Adding user `hduser' to group `sudo' ...
Adding user hduser to group sudo
Done.
# 然后切換用戶登錄

【大數(shù)據存儲與處理】1. hadoop單機偽分布安裝和集群安裝,大數(shù)據存儲與處理,大數(shù)據,hadoop,分布式,hadoop安裝

2. 安裝java

注意，已經切換到了hduser用戶,lynn主機下

hduser@lynn:~$ sudo apt-get update		# 更新包
# The "unable to lock directory /var/lib/apt/lists/" error on Ubuntu typically occurs when the APT package management system is already running or has crashed.如果出現(xiàn)unable to lock,多數(shù)是因為APT包管理系統(tǒng)正在運行或崩潰，可嘗試重啟
# hduser@lynn:~$ ps aux | grep -i apt		# 可使用此命令查看哪些安裝在使用apt，如果有則等待這些安裝完成
# The error in Ubuntu may be displayed below: 
#       /var/lib/dpkg/lock
#       /var/lib/dpkg/lock-frontend
#       /var/lib/apt/lists/lock
#       /var/cache/apt/archives/lock
# These are lock files, which could prevent two instances of apt or dpkg from using the same files simultaneously. 
# This could occur if an installation is needed or did not finish. Just remove the lock files.
# To delete or erase the lock files, use the rm command:
#        sudo rm /var/lib/dpkg/lock
#        sudo rm /var/lib/apt/lists/lock
#        sudo rm /var/cache/apt/archives/lock
hduser@lynn:~$ sudo apt search jdk		# 查找jdk包，也可以直接運行下一條命令

【大數(shù)據存儲與處理】1. hadoop單機偽分布安裝和集群安裝,大數(shù)據存儲與處理,大數(shù)據,hadoop,分布式,hadoop安裝

# 安裝openjdk-8-jdk版本
hduser@lynn:~$ sudo apt install openjdk-8-jdk
# 安裝完成之后查看一下版本號，確認安裝成功
hduser@lynn:~$ java -version
hduser@lynn:~$ javac -version
hduser@lynn:~$ update-alternatives --display java	# 查看已安裝的java版本列表

【大數(shù)據存儲與處理】1. hadoop單機偽分布安裝和集群安裝,大數(shù)據存儲與處理,大數(shù)據,hadoop,分布式,hadoop安裝

hduser@lynn:~$ sudo gedit .bashrc	# 設置環(huán)境變量
# 在彈出的窗口最后增加如下語句：
# export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/bin/java	# 設置Java的運行程序
# export JRE_HOME=$JAVA_HOME/jre
# export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
# export PATH=$PATH:$JAVA_HOME/bin
hduser@lynn:~$ source .bashrc	# 使環(huán)境變量生效

3. 安裝hadoop

從清華鏡像源網站下載hadoop2.10.2版本

hduser@lynn:~$ sudo tar -zxvf hadoop-2.10.2.tar.gz
hduser@lynn:~$ sudo mv hadoop-2.10.2 /usr/local/hadoop
hduser@lynn:~$ sudo gedit ~/.bashrc	# 設置hadoop環(huán)境變量，如果gedit打開失敗，試試重啟終端
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH
hduser@lynn:~$ source ~/.bashrc	# 使環(huán)境變量生效

3.0 配置SSH

# 安裝ssh
hduser@lynn:~$ sudo apt-get install ssh
hduser@lynn:~$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa 
# -t 指定要生成的密鑰類型
# -P 表示密碼，''表示不指定密碼進行連接
# -f 是密鑰生成之后保存的位置
hduser@lynn:~$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys	# 拷貝公鑰到要進行免密登錄的機器上
hduser@lynn:~$ ssh localhost	# 登錄本機
hduser@lynn:~$ ll ~/.ssh		# 查看相關文件

【大數(shù)據存儲與處理】1. hadoop單機偽分布安裝和集群安裝,大數(shù)據存儲與處理,大數(shù)據,hadoop,分布式,hadoop安裝

3.1 單機偽分布模式

在一臺運行l(wèi)inux的單機上，用偽分布方式，用不同的進程模擬分布運行下的NameNode、DataNode、JobTracker、TaskTracker等各類節(jié)點。

3.1.1 配置hadoop-env

hduser@lynn:~$ sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

修改JAVA_HOME：
原來是：export JAVA_HOME=${JAVA_HOME}
修改為：export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd65

3.1.2 配置core-site.xml

設置HDFS的默認名稱

hduser@lynn:~$ sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

【大數(shù)據存儲與處理】1. hadoop單機偽分布安裝和集群安裝,大數(shù)據存儲與處理,大數(shù)據,hadoop,分布式,hadoop安裝

3.1.3 設置yarn-site.xml

hduser@lynn:~$ sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
<property> 
  <name>yarn.nodemanager.aux-services</name> 
  <value>mapreduce_shuffle</value> 
</property> 
<property> 
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 
  <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
</property>
</configuration>

3.1.4 編輯mapred-site.xml

hduser@lynn:~$ sudo cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml
hduser@lynn:~$ sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml

<configuration>
<property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value> 
</property>
</configuration>

3.1.5 設置hdfs-site.xml

hdfs-site.xml 用于設置HDFS分布式文件系統(tǒng)的相關配置。Single Node Cluster中只有一臺服務器，所以需要身兼NameNode和DataNode.

hduser@lynn:~$ sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml

<configuration>
  <property>
  <!--設置備份數(shù)量為3-->
     <name>dfs.replication</name>
     <value>3</value> 
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value>
  </property>
</configuration>

3.1.6 創(chuàng)建hdfs目錄并格式化HDFS文件系統(tǒng)

# 創(chuàng)建NameNode數(shù)據存儲目錄
hduser@lynn:~$ sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode
# 創(chuàng)建DataNode數(shù)據存儲目錄
hduser@lynn:~$ sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode
# 將hadoop目錄的所有者更改為hduser
hduser@lynn:~$ sudo chown hduser:hduser -R /usr/local/hadoop
# 格式化namenode-將HDFS格式化
hduser@lynn:~$ hadoop namenode -format

【大數(shù)據存儲與處理】1. hadoop單機偽分布安裝和集群安裝,大數(shù)據存儲與處理,大數(shù)據,hadoop,分布式,hadoop安裝

3.1.7 啟動HDFS

# 啟動hdfs
hduser@lynn:~$ start-dfs.sh
# 啟動YARN
hduser@lynn:~$ start-yarn.sh

【大數(shù)據存儲與處理】1. hadoop單機偽分布安裝和集群安裝,大數(shù)據存儲與處理,大數(shù)據,hadoop,分布式,hadoop安裝

# jps可以列出運行的所有java虛擬機進程
hduser@lynn:~$ jps

【大數(shù)據存儲與處理】1. hadoop單機偽分布安裝和集群安裝,大數(shù)據存儲與處理,大數(shù)據,hadoop,分布式,hadoop安裝

3.1.8 查看集群狀態(tài)

http://localhost:8088
【大數(shù)據存儲與處理】1. hadoop單機偽分布安裝和集群安裝,大數(shù)據存儲與處理,大數(shù)據,hadoop,分布式,hadoop安裝 http://localhost:50070

3.2 集群分布方式

在真實的集群環(huán)境下安裝運行hadoop系統(tǒng)，集群的每個節(jié)點可以運行l(wèi)inux.
【大數(shù)據存儲與處理】1. hadoop單機偽分布安裝和集群安裝,大數(shù)據存儲與處理,大數(shù)據,hadoop,分布式,hadoop安裝

【大數(shù)據存儲與處理】1. hadoop單機偽分布安裝和集群安裝,大數(shù)據存儲與處理,大數(shù)據,hadoop,分布式,hadoop安裝
將在VMware上創(chuàng)建4臺虛擬機，分別是master,data1,data2,data3

將在每一臺虛擬機設置兩張網卡：

網卡1：設置為NAT網卡，可以通過host主機連接到外部網絡internet
網卡2：設置為“僅主機模式”，用于創(chuàng)建內部網絡，內部網絡連接4臺虛擬主機與Host主機
IP地址：master 192.168.56.100
data1 192.168.56.101
data2 192.168.56.102
data3 192.168.56.103

3.2.1 創(chuàng)建data1節(jié)點

從剛才創(chuàng)建的Single node clutch節(jié)點克隆出data1節(jié)點。選擇創(chuàng)建完整克隆，命名為data1.
【大數(shù)據存儲與處理】1. hadoop單機偽分布安裝和集群安裝,大數(shù)據存儲與處理,大數(shù)據,hadoop,分布式,hadoop安裝
添加網卡

3.2.1.1 設置固定IP

# 查看data1中的網卡
hduser@lynn:/$ ifconfig
# 顯示分別是ens33,ens37 
# ens33是ubuntu默認的NAT的網卡
# 對應我們集群使用的網卡為ens37
# 配置靜態(tài)IP
hduser@lynn:/$ sudo gedit /etc/netplan/01-network-manager-all.yaml 
network:
  ethernets:
    ens37:
      addresses: [192.168.56.101/24]	# 注意冒號后面需要有空格
      dhcp4: no
      optional: true
      gateway4: 192.168.56.1
      nameservers:
        addresses: [192.168.56.1,114.114.114.114]	# 114.114.114.114是電信的
  version: 2
  renderer: NetworkManager
hduser@lynn:/$ sudo netplan apply
hduser@lynn:/$ ifconfig

【大數(shù)據存儲與處理】1. hadoop單機偽分布安裝和集群安裝,大數(shù)據存儲與處理,大數(shù)據,hadoop,分布式,hadoop安裝

3.2.1.2 編輯主機名和hosts文件

# 編輯hostname主機名 設置data1
hduser@lynn:/$ sudo gedit /etc/hostname
data1
# 編輯hosts文件
hduser@lynn:/$ sudo gedit /etc/hosts
192.168.56.100 master
192.168.56.101 data1
192.168.56.102 data2
192.168.56.103 data3

3.2.1.3 編輯core-site.xml,yarn-site.xml,mapred-site.xml,hdfs-site.xml

hduser@lynn:/$ sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml

<configuration>
  <property>
         <name>fs.default.name</name>
         <value>hdfs://master:9000</value>
  </property>
</configuration>

hduser@lynn:/$ sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml 

<configuration>
<!--設置ResouceManager主機與NodeManager的連接地址，NodeManager通過這個地址向ResourceManager匯報運行情況-->
<property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>master:8025</value>
 </property>
 <!--設置ResourceManager與ApplicationMaster的連接地址，ApplicationMaster通過這個地址向ResourceManager申請資源、釋放資源等-->
 <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>master:8030</value>
 </property>
<!--設置ResourceManager與客戶端的連接地址，客戶端通過該地址ResourceManger注冊應用程序、刪除程序等-->
   <property>
        <name>yarn.resourcemanager.address</name>
        <value>master:8050</value>
    </property>
</configuration>

hduser@lynn:/$ sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml
# mapred-site.xml用于設置監(jiān)控Map與Reduce程序的JobTracker任務分配情況，以及TaskTracker任務運行狀況
# 修改設置mapreduce.job.tracker的連接地址為master:54311

<configuration>
<property>
   <name>mapred.job.tracker</name>
   <value>master:54311</value> 
</property>
</configuration>

hduser@lynn:/$ sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml 
<configuration>
  <property>
     <name>dfs.replication</name>
     <value>3</value> 
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value>
  </property>
</configuration>

3.2.2 創(chuàng)建data2,data3,master節(jié)點

克隆data1到data2,data3,master

3.2.2.1 分別設置每個主機的固定IP

hduser@data1:/$ sudo gedit /etc/netplan/01-network-manager-all.yaml
 ens37:
 # 只需要更改此處的IP地址,data2為192.168.56.102
 # data3為192.168.56.103
 # master為192.168.56.100
    addresses: [192.168.56.102/24]
    dhcp4: no
    optional: true
# 使設置生效
hduser@data1:/$ sudo netplan apply
# 查看網卡信息，確認ip地址無誤
hduser@data1:/$ ifconfig

3.2.2.2 設置每個主機的主機名

# data2設置為data2;data3設置為data3,master設置為master
hduser@data1:/$ sudo gedit /etc/hostname

3.2.3 設置master服務器

3.2.3.1 設置hdfs-site.xml

因為master現(xiàn)在只是單純的NameNode,刪除DataNode的HDFS設置

hduser@master:~$ sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml
<configuration>
  <property>
     <name>dfs.replication</name>
     <value>3</value> 
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
   <value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
  </property>
</configuration>

3.2.3.2 編輯masters文件和slaves文件

masters文件主要是告訴hadoop系統(tǒng)哪一臺服務器是NameNode.

slaves文件主要是告訴hadoop系統(tǒng)哪些服務器是DataNode.

hduser@master:~$ sudo gedit /usr/local/hadoop/etc/hadoop/masters
master
hduser@master:~$ sudo gedit /usr/local/hadoop/etc/hadoop/slaves
data1
data2
data3

3.2.4 測試

啟動master,data1,data2,data3四個節(jié)點
從master主機連接到data1

hduser@master:~$ ssh data1

【大數(shù)據存儲與處理】1. hadoop單機偽分布安裝和集群安裝,大數(shù)據存儲與處理,大數(shù)據,hadoop,分布式,hadoop安裝文章來源地址http://www.zghlxwxcb.cn/news/detail-741101.html

創(chuàng)建HDFS目錄datanode,對data2及data3重復此操作.

hduser@data1:~$ sudo rm -rf /usr/local/hadoop/hadoop_data/hdfs/
[sudo] password for hduser: 
hduser@data1:~$ mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode
hduser@data1:~$ sudo chown -R hduser:hduser /usr/local/hadoop
hduser@data1:~$ exit
logout
Connection to data1 closed.

重新創(chuàng)建并格式化NameNode HDFS目錄

# 創(chuàng)建NameNode目錄
hduser@master:~$ sudo rm -rf /usr/local/hadoop/hadoop_data/hdfs
[sudo] password for hduser: 
hduser@master:~$ mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode
hduser@master:~$ sudo chown -R hduser:hduser /usr/local/hadoop
# 格式化
hduser@master:~$ hdfs namenode -format

啟動hadoop multinode cluster

hduser@master:~$ start-dfs.sh
hduser@master:~$ start-yarn.sh
hduser@master:~$ jps

可以看見master服務器的狀態(tài)：
HDFS功能：Namenode,SecondaryNameNode
MapReduce2(YARN): ResourceManager
查看數(shù)據服務器節(jié)點data1(DataNode)進程的狀態(tài)
在data1的終端上輸入jps
HDFS:DataNode
MapReduce2(YARN
: NodeManager
打開Hadoop ResouceManager Web界面 http://master:8088
打開NameNode Web界面 http://master:50070/

到了這里，關于【大數(shù)據存儲與處理】1. hadoop單機偽分布安裝和集群安裝的文章就介紹完了。如果您還想了解更多內容，請在右上角搜索TOY模板網以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網！

本文來自互聯(lián)網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。如若轉載，請注明出處：如若內容造成侵權/違法違規(guī)/事實不符，請點擊違法舉報進行投訴反饋，一經查實，立即刪除！

分享到：

領支付寶紅包贊助服務器費用

Hadoop3.1.3安裝教程單機偽分布式配置
本教程使用 Ubuntu 18.04 64位作為系統(tǒng)環(huán)境（或者Ubuntu 14.04，Ubuntu16.04 也行，32位、64位均可），請自行安裝系統(tǒng)。裝好了 Ubuntu 系統(tǒng)之后，在安裝 Hadoop 前還需要做一些必備工作。創(chuàng)建hadoop用戶如果你安裝 Ubuntu 的時候不是用的 “hadoop” 用戶，那么需要增加一個名為 hadoop 的用
2024年02月04日
瀏覽(27)
超詳細版Hadoop的安裝與使用（單機/偽分布式）
虛擬機安裝包以及Ubuntu ISO映像下載：https://pan.baidu.com/s/19Ai5K-AA4NZHpfMcCs3D8w?pwd=9999? 下載完成后，進入VMware，點擊右上角【文件】——【新建虛擬機向導】 1.1選擇典型 1.2選擇光盤映像映像文件選擇上方剛剛下載的ubuntukylin-16.04-desktop-amd64 1.3命名根據自己需求來，無統(tǒng)一規(guī)定
2024年01月21日
瀏覽(46)
分布式消息流處理平臺kafka(一)-kafka單機、集群環(huán)境搭建流程及使用入門
kafka最初是LinkedIn的一個內部基礎設施系統(tǒng)。最初開發(fā)的起因是，LinkedIn雖然有了數(shù)據庫和其他系統(tǒng)可以用來存儲數(shù)據，但是缺乏一個可以幫助處理持續(xù)數(shù)據流的組件。所以在設計理念上，開發(fā)者不想只是開發(fā)一個能夠存儲數(shù)據的系統(tǒng)，如關系數(shù)據庫、Nosql數(shù)據庫、搜索引擎等
2024年02月16日
瀏覽(50)
Hadoop3.3.5云耀云服務器安裝教程-單機/偽分布式配置
華為云耀云服務器試用領取領取的試用云耀云服務器在哪阿里云服務器免費試用領取 Hadoop3.3.5云耀云服務器安裝教程-單機/偽分布式配置阿里云服務器ECS安裝圖形界面本篇文章是基于上一篇所配置好的云服務器進行實驗軟件安裝，該系列文章是根據林子雨所講述的課程就在
2024年01月21日
瀏覽(54)
在macOS上安裝Hadoop: 從零到分布式大數(shù)據處理
要在 macOS 上安裝 Hadoop，您可以按照以下步驟進行操作：前往Hadoop的官方網站下載最新版本的Hadoop。選擇一個穩(wěn)定的發(fā)行版本并下載壓縮文件（通常是.tar.gz格式）。將下載的 Hadoop 壓縮文件解壓縮到您選擇的目錄中?？梢允褂媒K端執(zhí)行以下命令：請將 hadoop-version 替換為您下
2024年02月06日
瀏覽(25)
Hadoop分布式集群安裝
????????上一篇大數(shù)據文章講解了在單機上搭建Hadoop-Yarn 偽分布式集群的安裝方法，方便大家學習，真實環(huán)境不可能只有一臺機器，肯定是多節(jié)點的集群，大單位還會建設很多Hadoop集群，比如各個大部門有自己的集群，或者按熱、溫、冷來劃分建立集群，反正都是很多臺服
2024年01月19日
瀏覽(26)
Docker安裝Hadoop分布式集群
hadoop目錄安裝在：/usr/local/hadoop-2.7.0/etc/hadoop
2024年02月13日
瀏覽(21)
Hadoop3.1.3安裝教程_單機/偽分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)
目錄前言：一、VMware Workstation 二、Ubuntu系統(tǒng)安裝新建虛擬機三、Ubuntu系統(tǒng)的配置四、更新apt 五、安裝SSH、配置SSH無密碼登陸? 六、安裝Java環(huán)境七、安裝 Hadoop3.1.3 八、Hadoop單機配置(非分布式) 九、Hadoop偽分布式配置前言： ????????本篇教程由作者本人進行修改，原教
2024年02月03日
瀏覽(57)
【Docker】Docker安裝Hadoop分布式集群
1. 查看docker的hadoop鏡像 2. 拉取stars最多的鏡像 3. 拉取完成后查看鏡像是否已到本地 docker images 4. 運行第一個容器hadoop102 5. 進入該容器 docker exec -it hadoop102 bash 6. 配置ssh生成秘鑰，所有的節(jié)點都要配置 /etc/init.d/sshd start 7. 生成密鑰 ssh-keygen -t rsa 8. 復制公鑰到authorized_keys中 9. 運
2024年01月24日
瀏覽(49)
大數(shù)據--分布式存儲 Hadoop
Hadoop指Apache這款開源框架，它的核心組件有： HDFS（分布式文件系統(tǒng)）：解決海量數(shù)據存儲 MAPREDUCE（分布式運算編程框架）：解決海量數(shù)據計算 YARN（作業(yè)調度和集群資源管理的框架）：解決資源任務調度目前主流的hadoop框架已經迭代更新到hadoop3.x的版本了，本篇的介紹也是
2024年01月17日
瀏覽(50)

<b id="1uypt"></b>

<strong id="1uypt"></strong>