国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

HBase 分布式搭建

這篇具有很好參考價(jià)值的文章主要介紹了HBase 分布式搭建。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方,請(qǐng)大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

前言:

請(qǐng)先確保 Hadoop 集群搭建完成。

  • Hadoop 完全分布式搭建(超詳細(xì))

搭建環(huán)境介紹:

三臺(tái)主機(jī),一主兩從,系統(tǒng)為 Centos 7.5。

相關(guān)組件版本信息如下:

  • jdk1.8
  • hadoop-3.1.3
  • zookeeper-3.5.7
  • hbase-2.2.3

注意,以下安裝教程中涉及到的路徑請(qǐng)?zhí)鎿Q成自己的!

ZooKeeper 安裝

解壓并改名
# 解壓文件
cd /opt/software/
tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module/

# 改名
cd /opt/module
mv apache-zookeeper-3.5.7-bin/ zookeeper-3.5.7
添加環(huán)境變量
vim /etc/profile

在文件末尾插入如下代碼:

#ZOOKEEPER_HOME
export ZOOKEEPER_HOME=/opt/module/zookeeper-3.5.7
export PATH=$PATH:$ZOOKEEPER_HOME/bin

最后使修改生效:source /etc/profile

配置服務(wù)器編號(hào)

在 ZooKeeper 安裝目錄下創(chuàng)建一個(gè)文件夾 zkData,在 zkData 中創(chuàng)建一個(gè)文件 myid 用以保存服務(wù)器編號(hào)。

# 進(jìn)入 ZooKeeper 安裝目錄
cd $ZOOKEEPER_HOME

# 創(chuàng)建文件夾
mkdir zkData

# 創(chuàng)建文件并添加編號(hào)
cd zkData

echo 1 > myid
配置 zoo.cfg 文件
# 進(jìn)入 ZooKeeper 的配置文件目錄
cd $ZOOKEEPER_HOME/conf/

# 修改文件名稱
mv zoo_sample.cfg zoo.cfg

# 編輯 zoo.cfg 文件
vim zoo.cfg

修改數(shù)據(jù)的存儲(chǔ)位置,指定為:/opt/module/zookeeper-3.5.7/zkData

然后在文件末尾添加服務(wù)器配置,如下所示:

server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

#監(jiān)聽所有IP
quorumListenOnAllIPs=true

注意,每一行的后面都不要有空格。

hbase2.2.3安裝,hbase,分布式,hadoop

添加完成后保存并退出。

文件分發(fā)與同步

在 master 服務(wù)器中將 ZooKeeper 安裝文件分發(fā)到其它服務(wù)器上。

scp -r /opt/module/zookeeper-3.5.7/ slave1:/opt/module/
scp -r /opt/module/zookeeper-3.5.7/ slave2:/opt/module/

在 master 服務(wù)器中將環(huán)境變量文件同步至其它服務(wù)器中。

rsync /etc/profile root@slave1:/etc/profile
rsync /etc/profile root@slave2:/etc/profile

我們分別進(jìn)入 slave1、slave2 服務(wù)器中,先初始化環(huán)境變量,然后修改 ZooKeeper 編號(hào),編輯 myid 文件,依次寫入為:2,3

啟動(dòng) ZooKeeper

我們分別進(jìn)入 master、slave1、slave2 服務(wù)器中,啟動(dòng) ZooKeeper 服務(wù)。

# 啟動(dòng) ZooKeeper
zkServer.sh start

啟動(dòng)完成后會(huì)顯示出如下 STARTED 提示:

hbase2.2.3安裝,hbase,分布式,hadoop

我們也可以通過命令 jps 來檢查 ZooKeeper 服務(wù)是否啟動(dòng),如下所示:

hbase2.2.3安裝,hbase,分布式,hadoop

HBase 安裝

解壓
cd /opt/software/

# 解壓 HBase 安裝包
tar -zxvf hbase-2.2.3-bin.tar.gz -C /opt/module/
配置環(huán)境變量

通過 vim /etc/profile 命令編輯配置文件,在文件末尾輸入如下代碼(不可以有空格):

#HBASE_HOME
export HBASE_HOME=/opt/module/hbase-2.2.3
export PATH=$PATH:$HBASE_HOME/bin

然后,保存并退出。執(zhí)行命令 source /etc/profile,使剛剛的配置生效。

配置 HBase 相關(guān)文件

首先切換到 HBase 安裝文件的 conf 目錄下。

cd $HBASE_HOME/conf

1、修改 hbase-env.sh 文件

在文件末尾添加如下內(nèi)容:

export HBASE_MANAGES_ZK=false
export JAVA_HOME=/opt/module/jdk1.8

添加完成后保存并退出。

2、配置 hbase-site.xml 文件

configuration 標(biāo)簽中添加如下內(nèi)容:

   <!--指定 zookeeper 服務(wù)器 -->
   <property>
      <name>hbase.zookeeper.quorum</name>
      <value>master,slave1,slave2</value>
   </property>

   <!--指定 hbase 根路徑 -->
   <property>
      <name>hbase.rootdir</name>
      <value>hdfs://master:8020/hbase</value>
   </property>

   <!--將 hbase 設(shè)置為分布式部署。 -->
   <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
   </property>
  
   <!-- 避免出現(xiàn)啟動(dòng)錯(cuò)誤。 -->
   <property>
        <name>hbase.unsafe.stream.capability.enforce</name>
        <value>false</value>
   </property>

修改完成后保存并退出。

3、修改 regionservers 文件

添加如下內(nèi)容:

master
slave1
slave2

添加完成后保存并退出。

解決 log4j 兼容性問題

HBase 與 Hadoop 在運(yùn)行時(shí)會(huì)出現(xiàn) log4j 兼容性問題,這是因?yàn)?HBase 的 log4j 版本與 Hadoop 的產(chǎn)生了沖突,我們這里將 HBase 的 log4j 設(shè)置為備份。

mv /opt/module/hbase-2.2.3/lib/client-facing-thirdparty/slf4j-log4j12-1.7.25.jar /opt/module/hbase-2.2.3/lib/client-facing-thirdparty/slf4j-log4j12-1.7.25.jar.bak
文件分發(fā)與同步

將 master 服務(wù)器的 HBase 安裝文件分發(fā)到 slave1、slave2 服務(wù)器上。

cd /opt/module

scp -r hbase-2.2.3/ slave1:/opt/module
scp -r hbase-2.2.3/ slave2:/opt/module

將 master 服務(wù)器的環(huán)境變量文件與 slave1、slave2 服務(wù)器進(jìn)行同步。

rsync /etc/profile slave1:/etc/profile
rsync /etc/profile slave2:/etc/profile

在 slave1、slave2 服務(wù)器上分別執(zhí)行 source /etc/profile 使發(fā)送來的配置生效。

啟動(dòng) HBase 集群

只需要在 master 服務(wù)器上執(zhí)行。

# 啟動(dòng) HBase 服務(wù)
start-hbase.sh

啟動(dòng)后會(huì)出現(xiàn)如下提示:

hbase2.2.3安裝,hbase,分布式,hadoop

驗(yàn)證 HBase 節(jié)點(diǎn)在三臺(tái)機(jī)器上的運(yùn)行情況,正常啟動(dòng)如下圖所示:

hbase2.2.3安裝,hbase,分布式,hadoop

HBase 分布式搭建完成啦!文章來源地址http://www.zghlxwxcb.cn/news/detail-764553.html

到了這里,關(guān)于HBase 分布式搭建的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場。本站僅提供信息存儲(chǔ)空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請(qǐng)注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • HBase 偽分布式環(huán)境搭建 - 頭歌

    HBase 偽分布式環(huán)境搭建 - 頭歌

    mkdir /app cd /opt tar -zxvf hbase-2.1.1-bin.tar.gz -C /app cd /app cd hbase-2.1.1 cd conf echo $JAVA_HOME /usr/lib/jvm/jdk1.8.0_111 vim hbase-env.sh 進(jìn)入文件,找到下圖中紅色框框內(nèi)的路徑,將#去掉,把=號(hào)后面的路徑改成/usr/lib/jvm/jdk1.8.0_111。注意:記得先按A,才能改。 按esc鍵,輸入? :wq? ,回車。 vim hb

    2024年04月28日
    瀏覽(20)
  • HBase集群搭建記錄 | 云計(jì)算[CentOS7] | HBase完全分布式集群搭建

    HBase集群搭建記錄 | 云計(jì)算[CentOS7] | HBase完全分布式集群搭建

    本系列文章索引以及一些默認(rèn)好的條件在 傳送門 默認(rèn)使用master節(jié)點(diǎn)并用root用戶登錄終端進(jìn)行操作 文章難免會(huì)有點(diǎn)小bug,如果有顯而易見的錯(cuò)誤,比如沒有創(chuàng)建文件夾時(shí)就已經(jīng)開始在該文件夾下操作,還請(qǐng)讀者自行創(chuàng)建~ 官網(wǎng)下載地址 博主因?yàn)檎n程需要以及版本問題,下載的

    2023年04月23日
    瀏覽(31)
  • Hbase數(shù)據(jù)庫完全分布式搭建以及java中操作Hbase

    Hbase數(shù)據(jù)庫完全分布式搭建以及java中操作Hbase

    基礎(chǔ)的環(huán)境準(zhǔn)備不在贅述,包括jdk安裝,防火墻關(guān)閉,網(wǎng)絡(luò)配置,環(huán)境變量的配置,各個(gè)節(jié)點(diǎn)之間進(jìn)行免密等操作等。使用的版本2.0.5. 參考官方文檔 分布式的部署,都是在單節(jié)點(diǎn)服務(wù)的基礎(chǔ)配置好配置,直接分發(fā)到其他節(jié)點(diǎn)即可。 jdk路徑的配置,以及不適用內(nèi)部自帶的zk. 配

    2024年02月03日
    瀏覽(29)
  • ZooKeeper+HBase分布式集群環(huán)境搭建

    ZooKeeper+HBase分布式集群環(huán)境搭建

    安裝版本:hadoop-2.10.1、zookeeper-3.4.12、hbase-2.3.1 一、zookeeper 集群搭建與配置 1. 下載zookeeper安裝包 2. 解壓移動(dòng)zookeeper 3. 修改配置文件(創(chuàng)建文件夾) 4. 進(jìn)入conf/ 5. 修改zoo.cfg文件 6. 進(jìn)入/usr/local/zookeeper-3.4.12/zkdatas/這個(gè)路徑下創(chuàng)建一個(gè)文件,文件名為myid ,文件內(nèi)容為1 7. 拷貝到

    2024年02月08日
    瀏覽(27)
  • hbase分布式安裝

    hbase分布式安裝

    目錄 1.安裝Hbase 2.配置文件 3.Hbase服務(wù)啟動(dòng) ? ? ?Zookeeper和Hadoop集群正常啟動(dòng) ??????????進(jìn)入/export/software目錄,將hbase軟件包導(dǎo)入該目錄下。解壓hbase軟件包 到/export/servers目錄下,并重命名為hbase。 ????????進(jìn)入hbase安裝目錄下,進(jìn)入conf目錄,修改hbase-env.sh、?hbase-si

    2024年02月10日
    瀏覽(21)
  • 頭歌大數(shù)據(jù)——HBase 偽分布式環(huán)境搭建

    第1關(guān):HBASE偽分布式環(huán)境搭建 編程要求 好了,到你啦,你需要先按照上次實(shí)訓(xùn)——HBase單節(jié)點(diǎn)安裝的方式將 HBase 安裝在 /app 目錄下,然后根據(jù)本關(guān)知識(shí)配置好偽分布式的 HBase ,最后點(diǎn)擊測評(píng)即可通關(guān)。 測試說明 程序會(huì)檢測你的 HBase 服務(wù)和 Hadoop 服務(wù)是否啟動(dòng),以及偽分布

    2024年02月08日
    瀏覽(69)
  • HBase(單機(jī))偽分布式安裝

    HBase(單機(jī))偽分布式安裝

    準(zhǔn)備工作:Hadoop已經(jīng)安裝、hbase-1.2.6-bin安裝包。 1、上傳hbase-1.2.6-bin.tar.gz壓縮包到/home/hadoop目錄下,并使用tar xvf 解壓。 2、終端下輸入:vim .bashrc,即用vim編輯器打開bashrc文件。 3、在bashrc文件的末尾設(shè)置如下Hbase的環(huán)境變量,要注意hbase解壓后的文件名是hbase-1.2.6還是hbase-1

    2024年02月04日
    瀏覽(24)
  • Hadoop3.x完全分布式環(huán)境搭建Zookeeper和Hbase

    Hadoop3.x完全分布式環(huán)境搭建Zookeeper和Hbase

    集群規(guī)劃 IP地址 主機(jī)名 集群身份 192.168.138.100 hadoop00 主節(jié)點(diǎn) 192.168.138.101 hadoop01 從節(jié)點(diǎn) 192.168.138.102 hadoop02 從節(jié)點(diǎn) Hadoop完全分布式環(huán)境搭建請(qǐng)移步傳送門 先在主節(jié)點(diǎn)上進(jìn)行安裝和配置,隨后分發(fā)到各個(gè)從節(jié)點(diǎn)上。 1.1 解壓zookeeper并添加環(huán)境變量 1)解壓zookeeper到/usr/local文件夾

    2024年02月04日
    瀏覽(29)
  • Ubuntu系統(tǒng)中分布式安裝配置HBase-2.3.7

    Ubuntu系統(tǒng)中分布式安裝配置HBase-2.3.7

    ?HBase是一個(gè)基于Hadoop的分布式列式數(shù)據(jù)庫,可以存儲(chǔ)海量的結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)。本文介紹如何在三個(gè)Ubuntu系統(tǒng)上搭建一個(gè)HBase集群,并進(jìn)行簡單的數(shù)據(jù)操作。 在三個(gè)Ubuntu系統(tǒng)上分布式安裝配置HBase-2.3.7,主要步驟包括: 準(zhǔn)備工作:下載安裝包,設(shè)置環(huán)境變量,解壓安裝包

    2024年02月06日
    瀏覽(17)
  • VMware創(chuàng)建Linux虛擬機(jī)之(四)ZooKeeper&HBase完全分布式安裝

    VMware創(chuàng)建Linux虛擬機(jī)之(四)ZooKeeper&HBase完全分布式安裝

    Hello,world! ?? ??本篇博客使用到的工具有:VMware16 ,Xftp7 若不熟悉操作命令,推薦使用帶GUI頁面的CentOS7虛擬機(jī) 我將使用帶GUI頁面的虛擬機(jī)演示 虛擬機(jī)(Virtual Machine) 指通過軟件模擬的具有完整硬件系統(tǒng)功能的、運(yùn)行在一個(gè)完全隔離環(huán)境中的完整計(jì)算機(jī)系統(tǒng)。在實(shí)體計(jì)算

    2024年02月07日
    瀏覽(26)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請(qǐng)作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包