国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

Centos7搭建Apache Storm 集群運(yùn)行環(huán)境

這篇具有很好參考價(jià)值的文章主要介紹了Centos7搭建Apache Storm 集群運(yùn)行環(huán)境。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方,請(qǐng)大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。


Centos7搭建Apache Storm 集群運(yùn)行環(huán)境,大數(shù)據(jù)之Storm從入門到精通,大數(shù)據(jù),storm,云原生,后端

1. 安裝 Java

Storm 運(yùn)行在 Java 平臺(tái)上,因此需要先安裝 Java。你可以使用以下命令安裝 OpenJDK 8:

sudo yum install java-1.8.0-openjdk

2. 下載并解壓 Storm

你可以從 Storm 的官方網(wǎng)站下載 Storm。在本教程中,我們將使用 Storm 2.2.0 版本。你可以使用以下命令下載 Storm:

wget https://archive.apache.org/dist/storm/apache-storm-2.2.0/apache-storm-2.2.0.tar.gz

下載完成后,你可以使用以下命令解壓 Storm:

tar -xvf apache-storm-2.2.0.tar.gz

解壓完成后,你可以將 Storm 移動(dòng)到 /usr/local 目錄下:

sudo mv apache-storm-2.2.0 /usr/local/

3. 配置環(huán)境變量

為了方便使用 Storm,你需要設(shè)置一些環(huán)境變量。首先,你需要打開 /etc/profile 文件:

sudo nano /etc/profile

在文件的末尾添加以下內(nèi)容:

export STORM_HOME=/usr/local/apache-storm-2.2.0
export PATH=$PATH:$STORM_HOME/bin

保存后,使用以下命令使環(huán)境變量生效:

source /etc/profile

4. 配置 ZooKeeper

Storm 需要使用 ZooKeeper 來協(xié)調(diào)集群中的節(jié)點(diǎn)。你可以使用以下命令安裝 ZooKeeper:

sudo yum install zookeeper

安裝完成后,你需要啟動(dòng) ZooKeeper 服務(wù):

sudo systemctl start zookeeper

為了讓 ZooKeeper 服務(wù)在系統(tǒng)啟動(dòng)時(shí)自動(dòng)啟動(dòng),你可以使用以下命令將其添加到系統(tǒng)服務(wù)中:

sudo systemctl enable zookeeper

5. 配置 Storm

Storm 的配置文件位于 $STORM_HOME/conf 目錄下。你可以使用以下命令進(jìn)入該目錄:

cd $STORM_HOME/conf

在該目錄下,有三個(gè)文件需要進(jìn)行配置:

storm.yaml

該文件是 Storm 的主要配置文件,你可以使用以下命令創(chuàng)建該文件:

sudo cp storm.yaml.example storm.yaml

然后使用以下命令打開該文件:

sudo nano storm.yaml

在文件中添加以下內(nèi)容:

storm.zookeeper.servers:
  - "localhost"

nimbus.seeds: ["localhost"]

storm.local.hostname: "localhost"

自定義 storm.yaml

一般我們只需要配置上面的就ok了,如果你想自定義一些參數(shù)可以參考下面的,我加了注釋方便于你理解。

# 配置 ZooKeeper 服務(wù)器地址
storm.zookeeper.servers:
  - "localhost"

# 指定 Storm 集群所使用的本地目錄
storm.local.dir: "/mnt/storm"

# 指定 Nimbus 的種子節(jié)點(diǎn)地址
nimbus.seeds: ["localhost"]

# 指定 Storm 使用的 Thrift 傳輸插件
storm.thrift.transport: "org.apache.storm.security.auth.SimpleTransportPlugin"

# 指定 Storm 使用的消息傳輸插件
storm.messaging.transport: "org.apache.storm.messaging.netty.Context"

# 指定 Storm 消息服務(wù)器使用的工作線程數(shù)
storm.messaging.netty.server_worker_threads: 1

# 指定 Storm 消息客戶端使用的工作線程數(shù)
storm.messaging.netty.client_worker_threads: 1

# 指定 Storm 消息緩沖區(qū)的大小
storm.messaging.netty.buffer_size: 1024

# 指定 Storm 消息傳輸失敗時(shí)的最大重試次數(shù)
storm.messaging.netty.max_retries: 10

# 指定 Storm 消息傳輸重試時(shí)的最大等待時(shí)間
storm.messaging.netty.max_wait_ms: 1000

# 指定 Storm 消息傳輸重試時(shí)的最小等待時(shí)間
storm.messaging.netty.min_wait_ms: 100

storm-env.sh

該文件是 Storm 的環(huán)境變量配置文件,你可以使用以下命令創(chuàng)建該文件:

sudo cp storm-env.sh.example storm-env.sh

然后使用以下命令打開該文件:

sudo nano storm-env.sh

在文件中添加以下內(nèi)容:

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

上述配置將 Java 的安裝路徑設(shè)置為 /usr/lib/jvm/java-1.8.0-openjdk。

logback/cluster.xml

該文件是 Storm 的日志配置文件,你可以使用以下命令打開該文件:

sudo nano logback/cluster.xml

找到以下內(nèi)容:

<appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
  <file>${storm.log.dir}/nimbus.log</file>
  <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
    <fileNamePattern>${storm.log.dir}/nimbus.log.%d{yyyy-MM-dd-HH}</fileNamePattern>
    <maxHistory>30</maxHistory>
  </rollingPolicy>
  <encoder>
    <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} %-5level %logger{36} - %msg%n</pattern>
  </encoder>
</appender>

將其中的 ${storm.log.dir} 替換為 /var/log/storm,這樣 Storm 的日志將會(huì)被記錄在 /var/log/storm/nimbus.log 文件中。

6. 啟動(dòng) Storm 集群

在完成以上配置后,你可以使用以下命令啟動(dòng) Storm 集群:
啟動(dòng)了 Nimbus、Supervisor 和 UI 三個(gè)進(jìn)程。& 符號(hào)表示將進(jìn)程放到后臺(tái)運(yùn)行。

storm nimbus &
storm supervisor &
storm ui &

7. 驗(yàn)證

已經(jīng)成功地在 CentOS 7 上安裝和配置了 Storm 環(huán)境,并啟動(dòng)了 Storm 集群??梢栽L問 http://localhost:8080/ 來查看 Storm UI
Centos7搭建Apache Storm 集群運(yùn)行環(huán)境,大數(shù)據(jù)之Storm從入門到精通,大數(shù)據(jù),storm,云原生,后端文章來源地址http://www.zghlxwxcb.cn/news/detail-631544.html

到了這里,關(guān)于Centos7搭建Apache Storm 集群運(yùn)行環(huán)境的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請(qǐng)注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • Windows11 搭建WSL運(yùn)行CentOS7(WSL+Pycharm環(huán)境搭建系列之一)

    Windows11 搭建WSL運(yùn)行CentOS7(WSL+Pycharm環(huán)境搭建系列之一)

    之前寫了一個(gè)長(zhǎng)篇,因?yàn)閮?nèi)容比較多,不方便大家查找,容易眼花。 所以對(duì)長(zhǎng)篇進(jìn)行了一個(gè)拆解,希望對(duì)大家有所幫助。 用管理員身份打開 PowerShell,或者在管理員身份打開Terminal,打開新的PowerShell選項(xiàng)卡,輸入: 同樣在PoweShell中輸入下面的命令,輸入完命令后,要重啟一

    2023年04月10日
    瀏覽(17)
  • Storm學(xué)習(xí)之使用官方Docker鏡像快速搭建Storm運(yùn)行環(huán)境

    Storm學(xué)習(xí)之使用官方Docker鏡像快速搭建Storm運(yùn)行環(huán)境

    Apache Storm 官方也出了Docker 鏡像 https://hub.docker.com/_/storm/ 本文我們就基于官方鏡像搭建一個(gè) Apache Storm 2.4 版本的運(yùn)行環(huán)境,供大家后續(xù)學(xué)習(xí)。 有問題可以參考issue 解決, 我的安裝過程一路都很順暢。所以基本上沒有看下面是我的詳細(xì)操作和截圖 。 可以說網(wǎng)上的亂七八糟的教

    2024年02月14日
    瀏覽(30)
  • CentOS7搭建hadoop集群

    CentOS7搭建hadoop集群

    說明: ? ? ? ? 1.準(zhǔn)備三臺(tái)虛擬機(jī),參考:CentOS7集群環(huán)境搭建(以3臺(tái)為例) ? ? ? ? 2.配置虛擬機(jī)間免密登陸:參考:CentOS7集群配置免密登錄 ? ? ? ? 3.虛擬機(jī)分別安裝jdk:參考:CentOS7集群安裝JDK1.8 ? ? ? ? 4.hadoop安裝包下載,下載地址 準(zhǔn)備開始搭建hadoop集群,以下操作在第

    2024年02月09日
    瀏覽(22)
  • Zookeeper集群搭建記錄 | 云計(jì)算[CentOS7] | Zookeeper集群搭建

    Zookeeper集群搭建記錄 | 云計(jì)算[CentOS7] | Zookeeper集群搭建

    本系列文章索引以及一些默認(rèn)好的條件在 傳送門 在配置Zookeeper之前,建議先配置Hadoop集群,具體的操作流程博主已更新完成,鏈接 Zookeeper的安裝包版本不太相同,大致分為有編譯過的和沒有編譯過的(如有錯(cuò)請(qǐng)留言指正 一般情況下對(duì)于我們?cè)诮鈮号渲镁湍苁褂玫那闆r下,我

    2024年02月01日
    瀏覽(118)
  • CentOS7環(huán)境ZooKeeper集群的安裝

    目錄 前提條件 步驟 ZooKeeper集群規(guī)劃 下載解壓 配置環(huán)境變量 配置服務(wù)器編號(hào) 配置zoo.cfg 分別啟動(dòng)zk服務(wù) 查看zk狀態(tài) 進(jìn)入zk客戶端命令行測(cè)試 zk集群?jiǎn)?dòng)停止腳本 擁有3臺(tái)CentOS7機(jī)器,并且都安裝好jdk8 ZooKeeper集群規(guī)劃 node2 node3 node4 zk zk zk 下載解壓 下載 apache-zookeeper-3.5.7-bin.ta

    2024年02月04日
    瀏覽(21)
  • centos7搭建apache服務(wù)(基于域名和IP訪問,用戶訪問控制)

    centos7搭建apache服務(wù)(基于域名和IP訪問,用戶訪問控制)

    我們搭建apache服務(wù)我們從幾個(gè)訪問方法搭建 目錄 一基于IP訪問 二.基于域名訪問 三.基于我們用戶訪問 yum源安裝服務(wù) (yum -y install httpd) 四,基于用戶訪問控制 ?讓防火墻放行http服務(wù),關(guān)閉增強(qiáng)模式(因?yàn)槲仪懊嬉约斑\(yùn)行過firewall-cmd --permanent --add-service=http所以會(huì)出現(xiàn)Warning:

    2024年02月02日
    瀏覽(28)
  • HBase集群搭建記錄 | 云計(jì)算[CentOS7] | HBase完全分布式集群搭建

    HBase集群搭建記錄 | 云計(jì)算[CentOS7] | HBase完全分布式集群搭建

    本系列文章索引以及一些默認(rèn)好的條件在 傳送門 默認(rèn)使用master節(jié)點(diǎn)并用root用戶登錄終端進(jìn)行操作 文章難免會(huì)有點(diǎn)小bug,如果有顯而易見的錯(cuò)誤,比如沒有創(chuàng)建文件夾時(shí)就已經(jīng)開始在該文件夾下操作,還請(qǐng)讀者自行創(chuàng)建~ 官網(wǎng)下載地址 博主因?yàn)檎n程需要以及版本問題,下載的

    2023年04月23日
    瀏覽(31)
  • centos7搭建apache作為文件站后,其他人無法訪問解決辦法

    centos7搭建apache作為文件站后,其他人無法訪問解決辦法

    在公司內(nèi)網(wǎng)的一個(gè)虛擬機(jī)上搭建了httpsd服務(wù),準(zhǔn)備作為內(nèi)部小伙伴們的文件站,但是搭建好之后發(fā)現(xiàn)別的小伙伴是無法訪問我機(jī)器的。 于是尋找一下原因,排查步驟如下: 1.netstat -lnp 和 ps aux 先看下端口和 服務(wù)情況 發(fā)現(xiàn)均正常 2.自己查看自己的服務(wù)是否正常 通過curl 發(fā)現(xiàn)正

    2024年02月11日
    瀏覽(29)
  • 大數(shù)據(jù)技術(shù)棧-Hadoop3.3.4-完全分布式集群搭建部署-centos7(完全超詳細(xì)-小白注釋版)虛擬機(jī)安裝+平臺(tái)部署

    目錄 環(huán)境條件: 1、安裝虛擬機(jī)(已安裝好虛擬機(jī)的可跳轉(zhuǎn)至? 二、安裝JDK與Hadoop) (1)直接新建一臺(tái)虛擬機(jī) (2)首次啟用虛擬機(jī),進(jìn)行安裝 一、集群前置環(huán)境搭建(三臺(tái)機(jī)器分別設(shè)置hostname、網(wǎng)卡(ip)配置、ssh免密登錄) 1、查看一下本機(jī)與虛擬機(jī)的網(wǎng)卡和ip信息 (1)

    2024年02月06日
    瀏覽(31)
  • CentOS7中新版本自帶zookeeper搭建Kafka集群

    CentOS7中新版本自帶zookeeper搭建Kafka集群

    一、zookeeper在kafka中的具體作用 ? ? 它是一個(gè)分布式協(xié)調(diào)框架。很好的將消息生產(chǎn)、消息存儲(chǔ)、消息消費(fèi)的過程結(jié)合在一起。在典型的Kafka集群中,Kafka通過Zookeeper管理集群控制,選舉leader,以及在Consumer Group發(fā)生變化時(shí)進(jìn)行rebalance。Producer使用push模式將消息發(fā)布到broker,Con

    2024年02月08日
    瀏覽(36)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請(qǐng)作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包