
1. 安裝 Java
Storm 運(yùn)行在 Java 平臺(tái)上,因此需要先安裝 Java。你可以使用以下命令安裝 OpenJDK 8:
sudo yum install java-1.8.0-openjdk
2. 下載并解壓 Storm
你可以從 Storm 的官方網(wǎng)站下載 Storm。在本教程中,我們將使用 Storm 2.2.0 版本。你可以使用以下命令下載 Storm:
wget https://archive.apache.org/dist/storm/apache-storm-2.2.0/apache-storm-2.2.0.tar.gz
下載完成后,你可以使用以下命令解壓 Storm:
tar -xvf apache-storm-2.2.0.tar.gz
解壓完成后,你可以將 Storm 移動(dòng)到 /usr/local
目錄下:
sudo mv apache-storm-2.2.0 /usr/local/
3. 配置環(huán)境變量
為了方便使用 Storm,你需要設(shè)置一些環(huán)境變量。首先,你需要打開 /etc/profile
文件:
sudo nano /etc/profile
在文件的末尾添加以下內(nèi)容:
export STORM_HOME=/usr/local/apache-storm-2.2.0
export PATH=$PATH:$STORM_HOME/bin
保存后,使用以下命令使環(huán)境變量生效:
source /etc/profile
4. 配置 ZooKeeper
Storm 需要使用 ZooKeeper 來協(xié)調(diào)集群中的節(jié)點(diǎn)。你可以使用以下命令安裝 ZooKeeper:
sudo yum install zookeeper
安裝完成后,你需要啟動(dòng) ZooKeeper 服務(wù):
sudo systemctl start zookeeper
為了讓 ZooKeeper 服務(wù)在系統(tǒng)啟動(dòng)時(shí)自動(dòng)啟動(dòng),你可以使用以下命令將其添加到系統(tǒng)服務(wù)中:
sudo systemctl enable zookeeper
5. 配置 Storm
Storm 的配置文件位于 $STORM_HOME/conf
目錄下。你可以使用以下命令進(jìn)入該目錄:
cd $STORM_HOME/conf
在該目錄下,有三個(gè)文件需要進(jìn)行配置:
storm.yaml
該文件是 Storm 的主要配置文件,你可以使用以下命令創(chuàng)建該文件:
sudo cp storm.yaml.example storm.yaml
然后使用以下命令打開該文件:
sudo nano storm.yaml
在文件中添加以下內(nèi)容:
storm.zookeeper.servers:
- "localhost"
nimbus.seeds: ["localhost"]
storm.local.hostname: "localhost"
自定義 storm.yaml
一般我們只需要配置上面的就ok了,如果你想自定義一些參數(shù)可以參考下面的,我加了注釋方便于你理解。
# 配置 ZooKeeper 服務(wù)器地址
storm.zookeeper.servers:
- "localhost"
# 指定 Storm 集群所使用的本地目錄
storm.local.dir: "/mnt/storm"
# 指定 Nimbus 的種子節(jié)點(diǎn)地址
nimbus.seeds: ["localhost"]
# 指定 Storm 使用的 Thrift 傳輸插件
storm.thrift.transport: "org.apache.storm.security.auth.SimpleTransportPlugin"
# 指定 Storm 使用的消息傳輸插件
storm.messaging.transport: "org.apache.storm.messaging.netty.Context"
# 指定 Storm 消息服務(wù)器使用的工作線程數(shù)
storm.messaging.netty.server_worker_threads: 1
# 指定 Storm 消息客戶端使用的工作線程數(shù)
storm.messaging.netty.client_worker_threads: 1
# 指定 Storm 消息緩沖區(qū)的大小
storm.messaging.netty.buffer_size: 1024
# 指定 Storm 消息傳輸失敗時(shí)的最大重試次數(shù)
storm.messaging.netty.max_retries: 10
# 指定 Storm 消息傳輸重試時(shí)的最大等待時(shí)間
storm.messaging.netty.max_wait_ms: 1000
# 指定 Storm 消息傳輸重試時(shí)的最小等待時(shí)間
storm.messaging.netty.min_wait_ms: 100
storm-env.sh
該文件是 Storm 的環(huán)境變量配置文件,你可以使用以下命令創(chuàng)建該文件:
sudo cp storm-env.sh.example storm-env.sh
然后使用以下命令打開該文件:
sudo nano storm-env.sh
在文件中添加以下內(nèi)容:
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
上述配置將 Java 的安裝路徑設(shè)置為 /usr/lib/jvm/java-1.8.0-openjdk
。
logback/cluster.xml
該文件是 Storm 的日志配置文件,你可以使用以下命令打開該文件:
sudo nano logback/cluster.xml
找到以下內(nèi)容:
<appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
<file>${storm.log.dir}/nimbus.log</file>
<rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
<fileNamePattern>${storm.log.dir}/nimbus.log.%d{yyyy-MM-dd-HH}</fileNamePattern>
<maxHistory>30</maxHistory>
</rollingPolicy>
<encoder>
<pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} %-5level %logger{36} - %msg%n</pattern>
</encoder>
</appender>
將其中的 ${storm.log.dir}
替換為 /var/log/storm
,這樣 Storm 的日志將會(huì)被記錄在 /var/log/storm/nimbus.log
文件中。
6. 啟動(dòng) Storm 集群
在完成以上配置后,你可以使用以下命令啟動(dòng) Storm 集群:
啟動(dòng)了 Nimbus、Supervisor 和 UI 三個(gè)進(jìn)程。&
符號(hào)表示將進(jìn)程放到后臺(tái)運(yùn)行。文章來源:http://www.zghlxwxcb.cn/news/detail-631544.html
storm nimbus &
storm supervisor &
storm ui &
7. 驗(yàn)證
已經(jīng)成功地在 CentOS 7 上安裝和配置了 Storm 環(huán)境,并啟動(dòng)了 Storm 集群??梢栽L問 http://localhost:8080/ 來查看 Storm UI文章來源地址http://www.zghlxwxcb.cn/news/detail-631544.html
到了這里,關(guān)于Centos7搭建Apache Storm 集群運(yùn)行環(huán)境的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!