Apache-doris-2.0.2部署幫助手冊
校驗時間：2023年10月11日
版權聲明：本文為CSDN博主「顧棟」的原創(chuàng)文章，遵循CC 4.0 BY-SA版權協(xié)議，轉載請附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/weixin_43820556/article/details/133754689
安裝前準備
安裝包
apache-doris-2.0.2-bin-x64.tar.gzjdk1.8.0_131.tgzmysql-5.7.43-linux-glibc2.12-x86_64.tar.gz
安裝要求
命令
cat /proc/cpuinfo | grep flags來查看當前CPU所支持的指令集命令
netstat -lntp 2>/dev/null|grep LISTEN|awk '{print $4}'|awk -F':' '{print $NF}'|sort|uniq查詢已經占用的端口命令
cat /etc/redhat-release查詢系統(tǒng)版本
Linux 操作系統(tǒng)版本需求
| Linux 系統(tǒng) | 版本 |
|---|---|
| CentOS | 7.1 及以上 |
| Ubuntu | 16.04 及以上 |
軟件需求
| 軟件 | 版本 |
|---|---|
| Java | 1.8 |
| GCC | 4.8.2 及以上 |
句柄需求
設置系統(tǒng)文件句柄數
vi /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536
關閉 Swap
修改/etc/sysctl.conf，增加以下配置
vm.swappiness=0
vm.overcommit_memory=1
vm.zone_reclaim_mode = 0
配置完畢后，執(zhí)行sysctl -p命令使其生效。
# 查看交換區(qū)
free -m
網絡需求
Doris 各個實例直接通過網絡進行通訊。以下表格展示了所有需要的端口
| 實例名稱 | 端口名稱 | 默認端口 | 通訊方向 | 說明 |
|---|---|---|---|---|
| BE | be_port | 9060 | FE --> BE | BE 上 thrift server 的端口，用于接收來自 FE 的請求 |
| BE | webserver_port | 8040 | BE <–> BE | BE 上的 http server 的端口 |
| BE | heartbeat_service_port | 9050 | FE --> BE | BE 上心跳服務端口（thrift），用于接收來自 FE 的心跳 |
| BE | brpc_port | 8060 | FE <–> BE, BE <–> BE | BE 上的 brpc 端口，用于 BE 之間通訊 |
| FE | http_port | 8030 | FE <–> FE，用戶 <–> FE | FE 上的 http server 端口 |
| FE | rpc_port | 9020 | BE --> FE, FE <–> FE | FE 上的 thrift server 端口，每個fe的配置需要保持一致 |
| FE | query_port | 9030 | 用戶 <–> FE | FE 上的 mysql server 端口 |
| FE | arrow_flight_sql_port | 9040 | 用戶 <–> FE | FE 上的 Arrow Flight SQL server 端口 |
| FE | edit_log_port | 9010 | FE <–> FE | FE 上的 bdbje 之間通信用的端口 |
| Broker | broker_ipc_port | 8000 | FE --> Broker, BE --> Broker | Broker 上的 thrift server，用于接收請求 |
注：
- 當部署多個 FE 實例時，要保證 FE 的 http_port 配置相同。
- 部署前請確保各個端口在應有方向上的訪問權限。
部署規(guī)劃
| 服務器 | FE | BE | MysqlClient |
|---|---|---|---|
| IP1 | yes | yes | |
| IP2 | yes | ||
| IP3 | yes | ||
| IP4 | yes | ||
| IP5 | yes | ||
| IP6 | yes |
用戶規(guī)劃
groupadd -g 900 doris
useradd -u 210 -g 900 doris
目錄規(guī)劃
將空間大的目錄軟鏈接到home的子目錄下，比如/opt或者/data。此文檔采用/data目錄為例
-
用戶目錄
/home/doris/software鏈接至/data/doris/software -
數據目錄
/home/doris/data鏈接至/data/doris/data -
日志目錄
/home/doris/logs鏈接至/data/doris/logs
免密需求
集群中任一機器都與其他機器root免密。
# 創(chuàng)建秘鑰
ssh-keygen -t rsa
# 各個機器生成秘鑰，匯集公鑰
scp ~/.ssh/id_rsa.pub root@ip1:~/.ssh/2.id.rsa.pub
scp ~/.ssh/id_rsa.pub root@ip1:~/.ssh/3.id.rsa.pub
scp ~/.ssh/id_rsa.pub root@ip1:~/.ssh/4.id.rsa.pub
scp ~/.ssh/id_rsa.pub root@ip1:~/.ssh/5.id.rsa.pub
scp ~/.ssh/id_rsa.pub root@ip1:~/.ssh/6.id.rsa.pub
# 生成秘鑰認證文件
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
cat ~/.ssh/2.id.rsa.pub >> ~/.ssh/authorized_keys
cat ~/.ssh/3.id.rsa.pub >> ~/.ssh/authorized_keys
cat ~/.ssh/4.id.rsa.pub >> ~/.ssh/authorized_keys
cat ~/.ssh/5.id.rsa.pub >> ~/.ssh/authorized_keys
cat ~/.ssh/6.id.rsa.pub >> ~/.ssh/authorized_keys
# 向集群機器分發(fā)認證文件
scp ~/.ssh/authorized_keys root@ip2:~/.ssh/
scp ~/.ssh/authorized_keys root@ip3:~/.ssh/
scp ~/.ssh/authorized_keys root@ip4:~/.ssh/
scp ~/.ssh/authorized_keys root@ip5:~/.ssh/
scp ~/.ssh/authorized_keys root@ip6:~/.ssh/
每臺機器都相互免密登錄一下，確認免密成功。
安裝步驟
# 1.新建用戶與用戶組
groupadd -g 900 doris;
useradd -u 900 -g 900 doris;
# 2.準備目錄-將安裝包分發(fā)至各個服務器的/data/install_package目錄
mkdir -p /data/install_package;
mkdir -p /data/doris/software;
mkdir -p /data/doris/logs;
mkdir -p /data/doris/data;
ln -snf /data/doris/software /home/doris/software;
ln -snf /data/doris/logs /home/doris/logs;
ln -snf /data/doris/data /home/doris/data;
# fe的元數據存儲目錄
mkdir -p /data/doris/data/doris-meta;
# be的數據存儲目錄
mkdir -p /data/doris/data/datastorage;
# 3.將安裝包解壓至software目錄并配置軟鏈接
tar -zxf /data/install_package/jdk1.8.0_131.tgz -C /home/doris/software/;
tar -zxf /data/install_package/apache-doris-2.0.2-bin-x64.tar.gz -C /home/doris/software/;
ln -snf /home/doris/software/jdk1.8.0_131 /home/doris/software/java;
ln -snf /home/doris/software/apache-doris-2.0.2-bin-x64 /home/doris/software/doris;
# 在某一臺機器上安裝mysql客戶端
tar -zxf /data/install_package/mysql-5.7.43-linux-glibc2.12-x86_64.tar.gz -C /home/doris/software/;
ln -snf /home/doris/software/mysql-5.7.43-linux-glibc2.12-x86_64 /home/doris/software/mysql-client;
# 4.確認目錄權限
chown -R doris:doris /data/doris/;
chown -R doris:doris /home/doris/;
配置JDK
su - doris;
vim /home/doris/.bashrc;
# 在.bashrc文件中追加以下內容
export JAVA_HOME=/home/doris/software/java
export PATH=$JAVA_HOME/bin:$PATH
# 配置生效
source /home/doris/.bashrc;
# 檢查jdk
java -version;
配置Doris文件
在doris用戶下執(zhí)行
fe.conf
vim /home/doris/software/doris/fe/conf/fe.conf
# 添加配置（使用ip a命令可獲取）
priority_networks = 實際本機IP地址/掩碼長度
meta_dir=/data/doris/data/doris-meta
# the output dir of stderr and stdout
LOG_DIR = /data/doris/logs
be.conf
vim /home/doris/software/doris/be/conf/be.conf
# 添加配置（使用ip a命令可獲?。?/span>
priority_networks = 實際本機IP地址/掩碼長度
storage_root_path=/data/doris/data/datastorage
# the output dir of stderr and stdout
LOG_DIR = /data/doris/logs
啟動與停止
啟動
啟動一個FE
su - doris;
cd /home/doris/software/doris/fe;
sh bin/start_fe.sh --daemon;
配置操作
MysqlClient連接第一個啟動的FE 增加其他的FE節(jié)點和BE節(jié)點（無密碼連接方式）
/home/doris/software/mysql-client -h 啟動的FEIP -P 9030 -uroot
-- edit_log_port位于conf/fe.conf ,默認為9010
mysql> ALTER SYSTEM ADD FOLLOWER "fe2的ip:9010";
mysql> ALTER SYSTEM ADD FOLLOWER "fe3的ip:9010";
-- 查看所有fe節(jié)點
mysql> show proc '/frontends';
mysql> ALTER SYSTEM ADD BACKEND "be1:9050";
mysql> ALTER SYSTEM ADD BACKEND "be2:9050";
mysql> ALTER SYSTEM ADD BACKEND "be3:9050";
-- 查看所有be節(jié)點
mysql> show proc '/backends';
啟動其他的FE節(jié)點(FE2,FE3)
待加入的FE節(jié)點（第一次啟動時要加–helper參數，否則follower fe節(jié)點無法加入集群）
su - doris;
cd /home/doris/software/doris/fe;
sh bin/start_fe.sh --helper masterFE的IP:edit_log_port --daemon;
啟動BE
su - doris;
cd /home/doris/software/doris/be;
sh bin/start_be.sh --daemon
檢查
查詢FE是否正常
curl http://fe_host:fe_http_port/api/bootstrap
如果返回：{"status":"OK","msg":"Success"}，則表示啟動成功，其余情況，則可能存在問題。
查詢BE是否正常文章來源：http://www.zghlxwxcb.cn/news/detail-726660.html
curl http://be_host:webserver_port/api/health
如果返回：{"status": "OK","msg": "To Be Added"}，則表示啟動成功，其余情況，則可能存在問題文章來源地址http://www.zghlxwxcb.cn/news/detail-726660.html
停止
su - doris;
cd /home/doris/software/doris/fe;
sh bin/stop_fe.sh
su - doris;
cd /home/doris/software/doris/be;
sh bin/stop_be.sh
到了這里，關于【Doris實戰(zhàn)】Apache-doris-2.0.2部署幫助手冊的文章就介紹完了。如果您還想了解更多內容，請在右上角搜索TOY模板網以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網！
