国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

  1. Toy模板網(wǎng)首頁
  2. >Toy博客

大數(shù)據(jù)平臺環(huán)境搭建

2年前作者：紅陌櫻花vip分類：Toy博客閱讀(9)違法舉報

這篇具有很好參考價值的文章主要介紹了大數(shù)據(jù)平臺環(huán)境搭建。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方，請大家不吝賜教，您也可以點擊"舉報違法"按鈕提交疑問。

目錄

????????一、Hadoop完全分布式安裝配置

1、上傳hadoop安裝文件

2、修改主機名

3、映射和集群

4、配置yarn和mapreduce

5、集群免密配置

6、啟動HDFS、YARN

7、查看頁面

二、Spark安裝配置

1、上傳解壓

2、文件配置

3、啟動hadoop集群

4、在web界面訪問主節(jié)點

5、測試spark-shell和spark-sql

三、 Flink安裝配置

1、安裝 Flink

2、配置 Flink

3、啟動 Flink

4、添加實例到集群中

添加一個 JobManager

添加一個 TaskManager

四、Kafka安裝配置

1、安裝zookeeper

2、安裝kafka

五、Flume安裝配置

1、上傳解壓

2、配置環(huán)境變量

3、測試是否安裝成功

六、各壓縮包鏈接地址

前言

????????這段時間基于大數(shù)據(jù)技術(shù)與應(yīng)用大賽所做的大數(shù)據(jù)平臺環(huán)境搭建，原創(chuàng)文章。在自己電腦上搭建過幾遍，按照上述筆記搭建沒有出現(xiàn)問題。家人們?nèi)绻趪L試搭建的過程中出現(xiàn)問題可以在下方評論區(qū)留言或者私信，我看到后會回復(fù)。希望能對有需求的萌新有所幫助。

大賽簡介：

賽項以大數(shù)據(jù)技術(shù)與應(yīng)用為核心內(nèi)容和工作基礎(chǔ)，重點考查參賽選手基于Spark、Flink平臺環(huán)境下，充分利用Spark Core、Spark SQL、Flume、Kafka、Flink等技術(shù)的特點，綜合軟件開發(fā)相關(guān)技術(shù)，解決實際問題的能力，具體包括：

  1. 掌握基于Spark的離線分析平臺、基于Flink的實時分析平臺，按照項目需求安裝相關(guān)技術(shù)組件并按照需求進行合理配置；
  2. 掌握基于Spark的離線數(shù)據(jù)抽取相關(guān)技術(shù)，完成指定數(shù)據(jù)的抽取并寫入Hive分區(qū)表中；
  3. 綜合利用Spark Core、Spark SQL等技術(shù)，使用Scala開發(fā)語言，完成某電商系統(tǒng)數(shù)據(jù)的離線統(tǒng)計服務(wù)，包括銷量前5商品統(tǒng)計、某月的總銷售額統(tǒng)計、每個月的銷售額統(tǒng)計、每個用戶在線總時長統(tǒng)計，并將統(tǒng)計結(jié)果存入MySQL數(shù)據(jù)庫中；
  4. 綜合利用Flume、Flink相關(guān)技術(shù)，使用Scala開發(fā)語言，完成將某電商系統(tǒng)的用戶操作日志抽取到Kafka中，消費Kafka中的數(shù)據(jù)并計算商城在線人數(shù),并統(tǒng)計該電商系統(tǒng)的UV與PV；
  5. 綜合運用HTML、CSS、JavaScript等開發(fā)語言，Vue.js前端技術(shù)，結(jié)合Echarts數(shù)據(jù)可視化組件，對MySQL中的數(shù)據(jù)進行可視化呈現(xiàn)；
  6. 根據(jù)數(shù)據(jù)可視化結(jié)果，完成數(shù)據(jù)分析報告的編寫；
  7. 競賽時間6小時，競賽連續(xù)進行。

一、Hadoop完全分布式安裝配置

1、上傳hadoop安裝文件

hadoop壓縮包為hadoop-2.7.3.tar，使用lrzsz工具上傳到linux系統(tǒng)，直接使用rz命令，然后選擇需要上傳的文件就可以了。 注意：如果使用rz命令沒有任何反應(yīng)。如下圖

大數(shù)據(jù)平臺環(huán)境搭建

可能是linux下沒有安裝lrzsz工具，需要使用命令安裝lrzsz工具。

yum -y install lrzsz

大數(shù)據(jù)平臺環(huán)境搭建

為了方便也可以安裝使用vim

yum -y install vim

使用rz命令統(tǒng)一將hadoop安裝文件上傳到linux系統(tǒng)中的 /usr/local/ 目錄下。

大數(shù)據(jù)平臺環(huán)境搭建

2、修改主機名

修改配置文件：vim /etc/hostname

將三臺默認(rèn)主機名localhost.localdomain修改為hadoop7/hadoop8/hadoop9

然后使用命令reboot分別重啟讓修改生效。

3、映射和集群

systemctl stop firewalld ?  關(guān)閉防火墻
systemctl status firewalld ?  查看防火墻狀態(tài)

A、映射

將主機名和ip地址一 一對應(yīng)，之后訪問某個主機名就等于連接到某個IP地址。 ip地址映射，需要修改配置文件 vim /etc/hosts,然后將ip地址和主機名寫進去。同時為了搭建集群，這里順便將每臺的主機名和ip地址都添加到文件hosts里面。

大數(shù)據(jù)平臺環(huán)境搭建

windows系統(tǒng)也需要配置相同的ip映射地址。修改 C:\Windows\System32\drivers\etc\hosts文件 添加IP地址映射在最后一行

192.168.164.131  hadoop7
192.168.164.134  hadoop8
192.168.164.136  hadoop9

大數(shù)據(jù)平臺環(huán)境搭建

如果該文件不能直接修改保存，請先復(fù)制一份到桌面，修改完成后，替換 C:\Windows\System32\drivers\etc\hosts文件

測試是否成功，使用xshell連接剛剛做完ip映射的計算機，不使用ip地址連接，使用主機名連接，如果連接成功，表示沒有問題。

B、解壓

解壓hadoop和jdk的安裝包

(tar -zxvf 文件名 z代表壓縮方式是gz，x表示解壓，v表示顯示信息，f表示要解壓的文件名(一定寫最后))

tar -zxvf hadoop-2.7.3.tar.gz
tar -zxvf jdk-8u144-linux-x64.tar.gz

解壓成功如下圖：

大數(shù)據(jù)平臺環(huán)境搭建

C、配置系統(tǒng)的環(huán)境變量

將jdk和hadoop的安裝路徑，寫到系統(tǒng)的環(huán)境變量里。linux系統(tǒng)中，需要將程序?qū)懙?etc/profile文件中，表示寫入到環(huán)境變量。使用命令vim /etc/profile 打開編輯文件 在最后一行，添加以下內(nèi)容：

export JAVA_HOME=/usr/local/jdk1.8.0_144 ?  jdk的解壓路徑
export HADOOP_HOME=/usr/local/hadoop-2.7.3 ? hadoop的解壓路徑 
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin ? ?

配置完成后 使用命令source /etc/profile (source可以讓才修改的profile文件立即生效，不需要重啟系統(tǒng))

最后測試是否安裝配置成功 javac 打印所有能使用的JDK命令 java -version 打印當(dāng)前安裝JDK的版本

大數(shù)據(jù)平臺環(huán)境搭建

查看配置是否成功,直接打印$PATH環(huán)境變量的值，看是否加入了HADOOP的安裝路徑 echo $PATH 打印hadoop2.7.3的版本信息 hadoop version

大數(shù)據(jù)平臺環(huán)境搭建

D、HDFS集群

以下操作先在主機hadoop7上配置，配置完成后進入 /usr/local/hadoop-2.7.3/etc/hadoop目錄下使用scp命令將配置好的hadoop-2.7.3和jdk1.8.0_144相關(guān)文件復(fù)制到hadoop8和hadoop9的 /usr/local/hadoop-2.7.3/etc/hadoop目錄下。

修改hadoop-2.7.3的配置文件slaves文件

slaves文件是指定從機的主機名：我們指定hadoop7為主機，hadoop8和hadoop9為從機 cd /usr/local/hadoop-2.7.3/etc/hadoop 編輯文件slaves vim slaves

hadoop8
hadoop9

修改hadoop-2.7.3的配置文件hadoop-env.sh文件

修改hadoop-env.sh文件中的jdk，就是將jdk的安裝路徑添加到該文件中。這個文件的位置，在Hadoop的安裝路徑下的etc下的hadoop目錄 進入該目錄： cd /usr/local/hadoop-2.7.3/etc/hadoop 編輯文件，添加jdk安裝路徑 vim hadoop-env.sh

修改export JAVA_HOME=${JAVA_HOME} ?  為 export JAVA_HOME=/usr/local/jdk1.8.0_144

修改hadoop-2.7.3的配置文件core-site.xml文件

進入該目錄 cd /usr/local/hadoop-2.7.3/etc/hadoop

使用vim命令進入該文件進行配置：vim core-site.xml

第一個配置
<property>   (屬性)
<name>fs.defaultFS</name>   (配置的功能名稱（這里是配置默認(rèn)的文件系統(tǒng)）)
<value>hdfs://主機名:9000</value>   功能配置值(這里用的是HDFS作為文件系統(tǒng)，還要指定HDFS放在哪臺主機上運行，9000默認(rèn)端口號)
</property>  (/屬性)

第二個配置
<property> 
<name>hadoop.tmp.dir</name>  （設(shè)置數(shù)據(jù)存儲目錄，數(shù)據(jù)存在什么地方）
<value>自己到hadoop目錄下創(chuàng)建一個目錄，寫在這里。比如 /usr/local/hadoop-2.7.3/hadoopData</value> 
</property>

修改hadoop-2.7.3的配置文件hdfs-site.xml文件

進入該目錄 cd /usr/local/hadoop-2.7.3/etc/hadoop

使用vim命令進入該文件進行配置：hdfs-site.xml

<property> 
<name>dfs.replication</name> 
<value>2</value> 
</property>

E、使用scp命令

進入 /usr/local/hadoop-2.7.3/etc/hadoop目錄

scp slaves root@hadoop8:/usr/local/hadoop-2.7.3/etc/hadoop
scp hadoop-env.sh root@hadoop8:/usr/local/hadoop-2.7.3/etc/hadoop
scp core-site.xml root@hadoop8:/usr/local/hadoop-2.7.3/etc/hadoop
scp hdfs-site.xml root@hadoop8:/usr/local/hadoop-2.7.3/etc/hadoop

scp slaves root@hadoop9:/usr/local/hadoop-2.7.3/etc/hadoop
scp hadoop-env.sh root@hadoop9:/usr/local/hadoop-2.7.3/etc/hadoop
scp core-site.xml root@hadoop9:/usr/local/hadoop-2.7.3/etc/hadoop
scp hdfs-site.xml root@hadoop9:/usr/local/hadoop-2.7.3/etc/hadoop

大數(shù)據(jù)平臺環(huán)境搭建

分別進入主機和從機的/usr/local/hadoop-2.7.3目錄下創(chuàng)建hadoopData目錄。

mkdir hadoopData

?大數(shù)據(jù)平臺環(huán)境搭建

F、初始化HDFS文件系統(tǒng)

hdfs namenode -format （會在存儲數(shù)據(jù)的目錄，自動創(chuàng)建一個dfs文件目錄） 初始化是否成功，就是查看數(shù)據(jù)存放目錄（自己設(shè)置的目錄）是否會自動生成dfs目錄

大數(shù)據(jù)平臺環(huán)境搭建

4、配置yarn和mapreduce

A、配置mapreduce組件

數(shù)據(jù)分析組件，作為程序任務(wù)來執(zhí)行

先進入/usr/local/hadoop-2.7.3/etc/hadoop目錄

使用命令mv mapred-site.xml.template mapred-site.xml修改文件名，再使用命令vim mapred.site.xml 進入mapred.site.xml修改配置文件

<property> 
<name>mapreduce.framework.name</name> 
<value>yarn</value> 
</property>

B、配置Yarn組件

資源管理和任務(wù)調(diào)度組件

先進入/usr/local/hadoop-2.7.3/etc/hadoop目錄

使用命令vim yarn-site.xml進入yarn-site.xml修改配置文件

<property> 
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value> 
</property>

<property> 
<name>yarn.resourcemanager.hostname</name> 
<value>hadoop7</value> 
</property>

C、使用scp命令

將修改好的mapreduce組件和Yarn組件配置文件用scp命令復(fù)制到hadoop8和hadoop9的 /usr/local/hadoop-2.7.3/etc/hadoop目錄下。

scp mapred-site.xml root@hadoop8:/usr/local/hadoop-2.7.3/etc/hadoop
scp yarn-site.xml   root@hadoop8:/usr/local/hadoop-2.7.3/etc/hadoop

scp mapred-site.xml root@hadoop9:/usr/local/hadoop-2.7.3/etc/hadoop
scp yarn-site.xml   root@hadoop9:/usr/local/hadoop-2.7.3/etc/hadoop

大數(shù)據(jù)平臺環(huán)境搭建

5、集群免密配置

每臺主機 authorized_keys 文件里面包含的主機（ssh密鑰），該主機都能無密碼登錄，所以只要每臺主機的authorized_keys 文件里面都放入其他主機（需要無密碼登錄的主機）的ssh密鑰就行了。

A、每個節(jié)點生成ssh密鑰

ssh-keygen -t rsa

大數(shù)據(jù)平臺環(huán)境搭建

執(zhí)行命令后會在家目錄下生成.ssh文件夾，里面包含id_rsa和id_rsa.pub兩個文件。

注：使用ssh-keygen -t rsa -P '' -f /root/.ssh/id_rsa命令可避免上述交互式操作。

B、拷貝秘鑰

  • 在主節(jié)點上將公鑰拷到一個特定文件authorized_keys中。

cp id_rsa.pub authorized_keys

  • 將authorized_keys文件拷到下一個節(jié)點，并將該節(jié)點的ssh密鑰id_rsa.pub加入該文件中。

scp authorized_keys  root@hadoop8:/root/.ssh/
#登錄hadoop8主機
cat id_rsa.pub >> authorized_keys #使用cat追加方式
scp authorized_keys  root@hadoop9:/root/.ssh/
#登錄hadoop9主機
cat id_rsa.pub >> authorized_keys #再次使用cat追加方式

  • 此時hadoop9的authorized_keys文件中擁有了hadoop7/8/9的密鑰，再使用scp命令將hadoop9的authorized_keys文件發(fā)送到hadoop7和hadoop8覆蓋掉原文件。

scp authorized_keys  root@hadoop7:/root/.ssh/
scp authorized_keys  root@hadoop8:/root/.ssh/

可以使用命令vim authorized_keys查看該文件里面是否有三臺主機的密鑰。

大數(shù)據(jù)平臺環(huán)境搭建

C、驗證免密是否成功

使用ssh 用戶名@節(jié)點名或ssh ip地址 命令驗證免密碼登錄。

大數(shù)據(jù)平臺環(huán)境搭建

6、啟動HDFS、YARN

進入目錄/usr/local/hadoop-2.7.3/sbin

./start-dfs.sh
./start-yarn.sh
jps   #查看進程

主機hadoop7

大數(shù)據(jù)平臺環(huán)境搭建

從機hadoop8

?大數(shù)據(jù)平臺環(huán)境搭建

從機hadoop9

?大數(shù)據(jù)平臺環(huán)境搭建

7、查看頁面

在瀏覽器中查看hdfs和yarn的web界面

ip地址:50070

大數(shù)據(jù)平臺環(huán)境搭建

大數(shù)據(jù)平臺環(huán)境搭建

ip地址:8088

大數(shù)據(jù)平臺環(huán)境搭建

?大數(shù)據(jù)平臺環(huán)境搭建

二、Spark安裝配置

1、上傳解壓

將spark壓縮包上傳到Linux的/usr/local目錄下并解壓。

rz   #上傳
tar -zxvf spark-2.4.7-bin-hadoop2.7.tgz  #解壓
rm -rf spark-2.4.7-bin-hadoop2.7.tgz  #解壓完可以刪除壓縮包

2、文件配置

切換到spark安裝包的/conf目錄下，進行配置。

大數(shù)據(jù)平臺環(huán)境搭建

使用cp命令將配置文件復(fù)制一份，原文件備份

cp slaves.template slaves
cp spark-defaults.conf.template spark-defaults.conf
cp spark-env.sh.template spark-env.sh

大數(shù)據(jù)平臺環(huán)境搭建

配置slaves文件：

大數(shù)據(jù)平臺環(huán)境搭建

scp slaves root@hadoop8:/usr/local/spark-2.4.7-bin-hadoop2.7/conf
scp slaves root@hadoop9:/usr/local/spark-2.4.7-bin-hadoop2.7/conf
# 將配好的slaves文件發(fā)送到hadoop8和hadoop9

配置spark-defaults.conf文件：

hadoop7：

spark.hadoop7                      spark://hadoop7:7077
spark.eventLog.enabled             true
spark.eventLog.dir                 hdfs://hadoop7:9000/spark-logs
spark.history.fs.logDirectory      hdfs://hadoop7:9000/spark-logs

hadoop8和hadoop9：

spark.eventLog.enabled            true
spark.eventLog.dir                hdfs://hadoop7:9000/spark-logs
spark.history.fs.logDirectory     hdfs://hadoop7:9000/spark-logs

配置spark-env.sh文件：

# 結(jié)尾添加
export JAVA_HOME=/usr/local/jdk1.8.0_144
export HADOOP_HOME=/usr/local/hadoop-2.7.3
export HADOOP_CONF_DIR=/usr/local/hadoop-2.7.3/etc/hadoop
export SPARK_MASTER_IP=hadoop7

3、啟動hadoop集群

cd /usr/local/hadoop-2.7.3/sbin
./start-all.sh
# 創(chuàng)建spark-logs目錄
hdfs dfs -mkdir /spark-logs

大數(shù)據(jù)平臺環(huán)境搭建

?大數(shù)據(jù)平臺環(huán)境搭建

cd /usr/local/spark-2.4.7-bin-hadoop2.7/sbin  # 進入spark的/sbin目錄下
./start-all.sh  # 啟動集群命令

啟動后主節(jié)點jps進程：

大數(shù)據(jù)平臺環(huán)境搭建

從節(jié)點jps進程：

大數(shù)據(jù)平臺環(huán)境搭建

4、在web界面訪問主節(jié)點

IP地址:8080

大數(shù)據(jù)平臺環(huán)境搭建

5、測試spark-shell和spark-sql

cd /usr/local/spark-2.4.7-bin-hadoop2.7/bin  # 進入spark的/bin目錄下
# 啟動命令
./spark-shell  # 退出spark-shell命令“:quit”
./spark-sql    # 退出spark-sql命令“quit;”

大數(shù)據(jù)平臺環(huán)境搭建

?大數(shù)據(jù)平臺環(huán)境搭建?

三、 Flink安裝配置

1、安裝 Flink

進入下載頁面。選擇一個與你的Hadoop版本相匹配的Flink包。

下載后上傳到主節(jié)點上，并解壓：

tar -zxvf apache-flink-1.10.2.tar.gz
rm -rf apache-flink-1.10.2.tar.gz
mv apache-flink-1.10.2 flink

2、配置 Flink

cd /usr/local/flink/deps/conf

設(shè)置jobmanager.rpc.address配置項為你的master節(jié)點地址。另外為了明確 JVM 在每個節(jié)點上所能分配的最大內(nèi)存，我們需要配置jobmanager.heap.mb和taskmanager.heap.mb，值的單位是 MB。如果對于某些worker節(jié)點，你想要分配更多的內(nèi)存給Flink系統(tǒng)，你可以在相應(yīng)節(jié)點上設(shè)置FLINK_TM_HEAP環(huán)境變量來覆蓋默認(rèn)的配置。

A、配置zoo.cfg

大數(shù)據(jù)平臺環(huán)境搭建

B、配置slaves

最后，你需要提供一個集群中worker節(jié)點的列表。因此，就像配置HDFS，編輯conf/slaves文件，然后輸入每個worker節(jié)點的 IP/Hostname。每一個worker結(jié)點之后都會運行一個 TaskManager。

每一條記錄占一行，就像下面展示的一樣：

大數(shù)據(jù)平臺環(huán)境搭建

C、配置flink-conf.yaml

大數(shù)據(jù)平臺環(huán)境搭建

D、配置masters

大數(shù)據(jù)平臺環(huán)境搭建

每一個worker節(jié)點上的 Flink 路徑必須一致。你可以使用共享的 NSF 目錄，或者拷貝整個 Flink 目錄到各個worker節(jié)點。

cd /usr/local
scp -r flink root@hadoop8:/usr/local
scp -r flink root@hadoop9:/usr/local

注意：

  • TaskManager 總共能使用的內(nèi)存大?。?code>taskmanager.heap.mb）

  • 每一臺機器上能使用的 CPU 個數(shù)（taskmanager.numberOfTaskSlots）

  • 集群中的總 CPU 個數(shù)（parallelism.default）

  • 臨時目錄（taskmanager.tmp.dirs）

3、啟動 Flink

下面的腳本會在本地節(jié)點啟動一個 JobManager，然后通過 SSH 連接所有的worker節(jié)點（slaves文件中所列的節(jié)點），并在每個節(jié)點上運行 TaskManager?，F(xiàn)在你的 Flink 系統(tǒng)已經(jīng)啟動并運行了。跑在本地節(jié)點上的 JobManager 現(xiàn)在會在配置的 RPC 端口上監(jiān)聽并接收任務(wù)。

在主節(jié)點flink的bin目錄下：

./start-cluster.sh

大數(shù)據(jù)平臺環(huán)境搭建

?大數(shù)據(jù)平臺環(huán)境搭建

如上圖flink集群進程啟動成功，也可以通過web界面驗證，flink端口號8081

大數(shù)據(jù)平臺環(huán)境搭建

?大數(shù)據(jù)平臺環(huán)境搭建

4、添加實例到集群中

  • 添加一個 JobManager

./jobmanager.sh (start cluster)|stop|stop-all

  • 添加一個 TaskManager

./taskmanager.sh start|stop|stop-all

四、Kafka安裝配置

1、安裝zookeeper

A、上傳解壓

將zookeeper壓縮包上傳到/usr/local目錄下并解壓

rz  # 上傳
tar -zxvf zookeeper-3.4.12.tar.gz  # 解壓

B、修改配置文件

進入zookeeper的配置文件目錄，并查看該目錄下的文件：

cd /usr/local/zookeeper-3.4.12/conf
ll

大數(shù)據(jù)平臺環(huán)境搭建

該目錄下有示例配置文件zoo_sample.cfg，將其拷貝為zoo.cfg：

cp zoo_sample.cfg zoo.cfg

使用vim編輯配置文件zoo.cfg：

vim zoo.cfg

更改配置文件內(nèi)容為下圖：

大數(shù)據(jù)平臺環(huán)境搭建

在/usr/local/zookeeper-3.4.12目錄下創(chuàng)建tmp文件

cd /usr/local/zookeeper-3.4.12
mkdir tmp

在/usr/local/zookeeper-3.4.12/tmp目錄下創(chuàng)建myid文件

cd /usr/local/zookeeper-3.4.12/tmp
vim myid

保存退出，使用scp將/usr/local下的zookeeper-3.4.12遠程拷貝到hadoop8和hadoop9主機的/usr/local目錄下：

scp -r zookeeper-3.4.12 root@hadoop8:/usr/local
scp -r zookeeper-3.4.12 root@hadoop9:/usr/local

如下圖所示，拷貝完成：

大數(shù)據(jù)平臺環(huán)境搭建

將myid文件的內(nèi)容更改為各自主機對應(yīng)的server號。

在hadoop7的myid中添加以下內(nèi)容：

1

在hadoop8的myid中添加以下內(nèi)容：

2

在hadoop9的myid中添加以下內(nèi)容：

3

C、配置環(huán)境變量

vim /etc/profile （配置如下圖，在原有的基礎(chǔ)上添加zookeeper環(huán)境變量，hadoop7/8/9都要配）

大數(shù)據(jù)平臺環(huán)境搭建

source /etc/profile  # 使配置立即生效，不用重啟

D、啟動

分別進入三臺主機的/usr/local/zookeeper-3.4.12/bin目錄下，執(zhí)行啟動腳本：

cd /usr/local/zookeeper-3.4.12/bin
./zkServer.sh start

大數(shù)據(jù)平臺環(huán)境搭建

E、查看狀態(tài)

zkServer.sh status

大數(shù)據(jù)平臺環(huán)境搭建

大數(shù)據(jù)平臺環(huán)境搭建

大數(shù)據(jù)平臺環(huán)境搭建

2、安裝kafka

A、上傳解壓

將下載好的kafka壓縮包上傳到/usr/local目錄下

rz    # 上傳
tar -zxvf kafka_2.11-2.0.0.tgz    # 解壓
rm -rf kafka_2.11-2.0.0.tgz    # 刪除壓縮包
mv  kafka_2.11-2.0.0 kafka    #改名
scp -r kafka root@hadoop8:/usr/local    # 將解壓改名好的kafka發(fā)送到hadoop8和hadoop9，也可使用rz命令在hadoop8和hadoop9重復(fù)上面幾步操作

B、啟動zookeeper集群

分別進入三臺主機的/usr/local/zookeeper-3.4.12/bin目錄下，執(zhí)行啟動腳本：

cd /usr/local/zookeeper-3.4.12/bin
./zkServer.sh start

C、修改配置文件

進入/usr/local/kafka/config目錄下修改server.properties配置文件

大數(shù)據(jù)平臺環(huán)境搭建

?大數(shù)據(jù)平臺環(huán)境搭建

?大數(shù)據(jù)平臺環(huán)境搭建

server.properties配置文件的修改主要在開頭和結(jié)尾，中間保持默認(rèn)配置即可；需要注意的點是broker.id的值三個節(jié)點要配置不同的值，分別配置為0，1，2；log.dirs必須保證目錄存在，自己去創(chuàng)建一個，不會根據(jù)配置文件自動生成；

scp server.properties root@hadoop8:/usr/local/kafka/config  #使用scp命令將配置好的文件發(fā)送到其他節(jié)點，然后修改其他節(jié)點的broker.id

還需要注意的是：因為hadoop8和hadoop9的kafka是通過scp發(fā)送的，所以除了要自己去修改主機和從機的broker.id還要自己去修改下圖配置，改成從機對應(yīng)的IP地址。

大數(shù)據(jù)平臺環(huán)境搭建

大數(shù)據(jù)平臺環(huán)境搭建

大數(shù)據(jù)平臺環(huán)境搭建

不然主機啟動沒問題，從機會遇到下圖的問題：

（我一開始就沒注意，然后從機報錯啟動不了，去百度看了有一會才改正錯誤）

大數(shù)據(jù)平臺環(huán)境搭建

D、啟動kafka

啟動kafka集群，進入kafka的bin目錄，執(zhí)行如下命令 ：

./kafka-server-start.sh /usr/local/kafka/config/server.properties 
# 三個節(jié)點均要啟動；啟動無報錯，即搭建成功，可以生產(chǎn)和消費消息，來檢測是否搭建成功。

大數(shù)據(jù)平臺環(huán)境搭建

E、常見kafka命令

# 創(chuàng)建topic–test
./bin/kafka-topics.sh --create --zookeeper IP地址:2181, IP地址:2181, IP地址:2181 --replication-factor 3 --partitions 3 --topic test

# 列出已創(chuàng)建的topic列表
./bin/kafka-topics.sh --list --zookeeper hadoop7:2181

# 更多：https://blog.csdn.net/zxy987872674/article/details/72493128

五、Flume安裝配置

1、上傳解壓

rz
tar -zxvf apache-flume-1.8.0-bin.tar.gz
mv apache-flume-1.8.0-bin flume

2、配置環(huán)境變量

大數(shù)據(jù)平臺環(huán)境搭建

然后進入flume的目錄，修改conf下的flume-env.sh，在里面配置JAVA_HOME

大數(shù)據(jù)平臺環(huán)境搭建

?

3、測試是否安裝成功

使用命令flume-ng version

如下圖則成功：

大數(shù)據(jù)平臺環(huán)境搭建

繼續(xù)測試：

1、先在flume的conf目錄下新建一個文件
?

vim? ?netcat-logger.conf

# 定義這個agent中各組件的名字
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 描述和配置source組件：r1
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# 描述和配置sink組件：k1
a1.sinks.k1.type = logger

# 描述和配置channel組件，此處使用是內(nèi)存緩存的方式
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 描述和配置source ?channel ? sink之間的連接關(guān)系
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1



2. 在Flume安裝目錄下啟動agent去采集數(shù)據(jù)

/usr/local/flume/bin/flume-ng agent -c conf -f /usr/local/flume/conf/netcat-logger.conf -n a1 ?-Dflume.root.logger=INFO,console


-c conf 指定flume自身的配置文件所在目錄
-f conf/netcat-logger.con 指定我們所描述的采集方案
-n a1 指定我們這個agent的名字

3.測試
再開一shell窗口 輸入以下命令

telnet localhost 44444
?

注意: 如出現(xiàn)找不到這個命令 則是沒有安裝 telnet 服務(wù)
就去安裝一下 再來執(zhí)行上面的命令

六、各壓縮包鏈接地址

hadoop：Index of /hadoop/core

jdk：Java Downloads | Oracle

spark：Index of /spark

flink：Index of /flink

zookeeper：Index of /zookeeper

kafka：Index of /kafka

flume：Index of /flume文章來源地址http://www.zghlxwxcb.cn/news/detail-412375.html

到了這里，關(guān)于大數(shù)據(jù)平臺環(huán)境搭建的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來自互聯(lián)網(wǎng)用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載，請注明出處： 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實不符，請點擊違法舉報進行投訴反饋，一經(jīng)查實，立即刪除！

領(lǐng)支付寶紅包贊助服務(wù)器費用

相關(guān)文章

  • hadoop完全分布式集群搭建（超詳細(xì)）-大數(shù)據(jù)集群搭建

    hadoop完全分布式集群搭建（超詳細(xì)）-大數(shù)據(jù)集群搭建

    本次搭建完全分布式集群用到的環(huán)境有： jdk1.8.0 hadoop-2.7.7 本次搭建集群所需環(huán)境也給大家準(zhǔn)備了，下載鏈接地址：https://share.weiyun.com/dk7WgaVk 密碼：553ubk 本次完全分布式集群搭建需要提前建立好三臺虛擬機，我分別把它們的主機名命名為:master,slave1,slave2 一.配置免密登陸 首先

    2024年02月10日
    瀏覽(30)
  • 大數(shù)據(jù)內(nèi)容分享(九)：Hadoop-生產(chǎn)集群搭建（完全分布式）

    大數(shù)據(jù)內(nèi)容分享(九)：Hadoop-生產(chǎn)集群搭建（完全分布式）

    目錄 Hadoop運行模式——完全分布式 1、準(zhǔn)備3臺虛擬機（關(guān)閉防火墻、配置靜態(tài)IP 和 主機名稱） 2、安裝JDK 和 Hadoop 并配置JDK和Hadoop的環(huán)境變量 3、配置完全分布式集群 4、集群配置 1）集群部署規(guī)劃 2）配置文件說明 3）配置集群 5、集群啟動 與 測試 1）workers的配置 2）啟動集

    2024年02月21日
    瀏覽(24)
  • 大數(shù)據(jù)開發(fā)·關(guān)于虛擬機Hadoop完全分布式集群搭建教程

    大數(shù)據(jù)開發(fā)·關(guān)于虛擬機Hadoop完全分布式集群搭建教程

    官網(wǎng)鏈接 進入后網(wǎng)站如圖，各位按需下載 官網(wǎng)鏈接 進入頁面點擊下載 再根據(jù)我們需要下載的軟件進入下載頁面 點擊右側(cè)紅框內(nèi)的免費授權(quán)頁面獲取免費許可 進入后如圖，兩者我們都需要所以都勾選，填寫的郵箱用于接收下載鏈接，下載后進行安裝即可 這里先和大家強調(diào)一

    2024年02月07日
    瀏覽(32)
  • 【云計算平臺】Hadoop全分布式模式環(huán)境搭建

    【云計算平臺】Hadoop全分布式模式環(huán)境搭建

    此前搭建了hadoop的單機模式與偽分布式模式： 單機模式部署 偽分布式模式部署 中間拖得有點久了，今天索性做個了結(jié)，把hadoop的全分布式模式部署的操作也簡單地記錄一下，算是一個系統(tǒng)性的學(xué)習(xí)吧。 偽分布式模式是學(xué)習(xí)階段最常用的模式，它可以將進程都運行在同一臺機

    2023年04月08日
    瀏覽(90)
  • 搭建完全分布式Hadoop

    搭建完全分布式Hadoop

    登錄三個虛擬機 執(zhí)行命令： vim /etc/hosts 1、上傳安裝包 上傳hadoop安裝包 查看hadoop安裝包 2、解壓縮安裝包 執(zhí)行命令： tar -zxvf hadoop-3.3.4.tar.gz -C /usr/local 查看解壓后的目錄 3、配置環(huán)境變量 執(zhí)行命令： vim /etc/profile 存盤退出，執(zhí)行命令： source /etc/profile ，讓配置生效 查看had

    2024年02月04日
    瀏覽(26)
  • Hadoop完全分布式搭建

    Hadoop完全分布式搭建

    1.下載VM 2.下載Centos鏡像 3.下載hadoop 4.下載FinalShell 5.下載jdk文件 ?6.下載hive，數(shù)據(jù)倉庫學(xué)習(xí)大數(shù)據(jù)專業(yè)的用的到 ? ? 注：開啟虛擬機把鼠標(biāo)放入屏幕點擊后消失，使用鍵盤上下鍵進行選擇 ? 注：點擊之后，什么都不動，再點擊完成（因為它自動幫我們分區(qū)了） 注：我們配置

    2024年02月04日
    瀏覽(24)
  • 【Hadoop】完全分布式集群搭建

    【Hadoop】完全分布式集群搭建

    大家好，我是向陽花花花花，這篇文章是我歷時三天，推翻重做兩小時進行搭建的Hadoop集群（完全分布式）個人筆記和感想，收錄于初心的《大數(shù)據(jù)》專欄。 ?? 個人主頁：初心%個人主頁 ?? 個人簡介：大家好，我是初心，一名正在努力的雙非二本院校計算機專業(yè)學(xué)生 ??

    2024年02月15日
    瀏覽(29)
  • Hadoop的完全分布式搭建

    Hadoop的完全分布式搭建

    主機名 Hadoop10 Hadoop11 Hadoop12 網(wǎng)絡(luò) 192.168.10.10 192.168.10.11 192.168.10.12 用戶 hadoop root hadoop root hadoop root HDFS NameNode DateNode DateNode Secondary NameNode DataNode YARN NodeManager NodeManager ResourceManager NodeManager 安裝虛擬機系統(tǒng),省略 第一步:網(wǎng)卡配置 使用 vi 編輯器編輯系統(tǒng)的網(wǎng)卡配置文件,配置以下

    2024年02月08日
    瀏覽(26)
  • Hadoop 完全分布式集群搭建

    Hadoop 完全分布式集群搭建

    部署前可以先了解下 Hadoop運行模式及目錄結(jié)構(gòu)-CSDN博客 服務(wù) hadoop102 hadoop103 hadoop104 NameNode √ DataNode √ √ √ Secondary NameNode √ ResourceManager √ NodeManager √ √ √ JobHistoryServer √ IPv4 192.168.88.102 192.168.88.103 192.168.88.104 NodeObject master worker1 worker2 最小化安裝 Neokylin7.0 用于搭建 Had

    2024年02月04日
    瀏覽(52)
  • Hadoop完全分布式集群搭建

    Hadoop完全分布式集群搭建

    1.在虛擬機關(guān)機的狀態(tài)下選擇克隆 2.開始克隆 3.選擇從當(dāng)前狀態(tài)創(chuàng)建 4.創(chuàng)建一個完整的克隆 5.選擇新的虛擬機存儲位置（選擇內(nèi)存充足的磁盤） 6.開始克隆 7.克隆完成 8.同樣的方法克隆第二臺虛擬機 9.在計算機中存在三臺虛擬機 將第一臺虛擬機更名為hadoop01 修改hadoop01的主機

    2024年02月02日
    瀏覽(23)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包，優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包