?? 博主 "開著拖拉機(jī)回家"帶您 Go to New World.???

?? 個(gè)人主頁——??開著拖拉機(jī)回家_Linux,Java基礎(chǔ)學(xué)習(xí),大數(shù)據(jù)運(yùn)維-CSDN博客 ?????

感謝點(diǎn)贊和關(guān)注 ，每天進(jìn)步一點(diǎn)點(diǎn)！加油！

???????????????? ?????????????? ????????????????????????

目錄

一、版本信息

二、HiDataPlus介紹

2.1 Apache Components

2.2 Ambari Version

2.3 Java支持版本

2.4 Databases支持版本

三、銀河麒麟V10操作系統(tǒng)介紹

四、服務(wù)器基礎(chǔ)環(huán)境配置

4.1服務(wù)器配置

4.1.1常用命令安裝

4.1.2 主機(jī)名修改

4.1.3 主機(jī)名映射的修改

4.1.4 SSH免密登錄

4.1.5 關(guān)閉防火墻

4.1.7 打開文件數(shù)

4.1.8 關(guān)閉Linux的THP服務(wù)

4.1.9 時(shí)鐘同步

4.1.10JDK

4.1.11 安裝httpd服務(wù) (每臺)

4.2 repo配置

五、安裝Ambari-server

5.1 安裝ambari-server

5.2 ambari-server setup

5.3 啟動(dòng)ambari

六、HDP 安裝

七、遇到的問題

八、開啟Kerberos

8.1 安裝kerberos

8.2 Ambari啟動(dòng)kerberos

一、版本信息

采用單服務(wù)器進(jìn)行調(diào)研測試。?

二、HiDataPlus介紹

國內(nèi)開源的Ambari 官網(wǎng)：一個(gè)可持續(xù)升級的免費(fèi)Hadoop發(fā)行版 | HiDataPlus(HDP)

2.1 Apache Components

2.2 Ambari Version

與之前的HDP發(fā)行版一樣,HiDataPlus通過Ambari集群管理組件進(jìn)行安裝和管理。

目前Ambari支持Centos/RHEL 7.x，由于很多國產(chǎn)操作系統(tǒng)都是能夠兼容Centos7，所以在國產(chǎn)操作系統(tǒng)上通過輕微改造，即可適配。

2.3 Java支持版本

2.4 Databases支持版本

三、銀河麒麟V10操作系統(tǒng)介紹

銀河麒麟操作系統(tǒng) V10 SP系列 是一款體驗(yàn)好用、安全好用、生態(tài)好用、行業(yè)好用的新一代圖形化桌面操作系統(tǒng)，為用戶開啟安全可信、流暢愉悅的體驗(yàn)之旅。

開放麒麟和銀河麒麟桌面操作系統(tǒng)的關(guān)系類似于深度deepin和統(tǒng)信UOS。前者為根社區(qū)版本，后者是上游商業(yè)版本。社區(qū)版本更注重功能也更激進(jìn)，商業(yè)版本則更注重穩(wěn)定。

簡單區(qū)別:

• 銀河麒麟V10SP3： 服務(wù)器版，延續(xù)SP1,SP2而來，像windows server一樣， 作為商業(yè)服務(wù)器使用，看內(nèi)核是基于CentOS。
• 銀河麒麟桌面版： 辦公使用，像windows 10、windows 11這樣， 看說明是基于debian
• openkylin： 開放麒麟，相當(dāng)于社區(qū)版，免費(fèi)的。 跟桌面版界面差不多。
• neokylin： 中標(biāo)麒麟，以前的麒麟版本， 以后估計(jì)就沒有了，看界面像CentOS，是基于fedora的。

四、服務(wù)器基礎(chǔ)環(huán)境配置

4.1服務(wù)器配置

4.1.1常用命令安裝

 yum install open-vm-tools  bash-completion  lrzsz  tree  vim  wget  net-tools  -y

4.1.2 主機(jī)名修改

hostnamectl set-hostname  windp-aio

4.1.3 主機(jī)名映射的修改

cat > /etc/hosts << EOF
192.168.2.130    windp-aio
EOF

4.1.4 SSH免密登錄

ssh-keygen -t rsa


ssh-copy-id -i /root/.ssh/id_rsa.pub windp-aio

一直回車就行

4.1.5 關(guān)閉防火墻

systemctl stop firewalld
systemctl disable firewalld
systemctl status  firewalld

4.1.6 關(guān)閉SELINUX

sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config

4.1.7 打開文件數(shù)

vim /etc/security/limits.conf

root soft nofile 409600
root hard nofile 65535

# End of file

4.1.8 關(guān)閉Linux的THP服務(wù)

vim /etc/rc.local
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
          echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
          echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi

4.1.9 時(shí)鐘同步

yum install chrony -y
systemctl start  chronyd
systemctl enable chronyd
systemctl status chronyd

4.1.10JDK

sudo mkdir -p /usr/java
tar -zxvf jdk-8u381-linux-aarch64.tar.gz -C /usr/java/

vim /etc/profile	
export JAVA_HOME=/usr/java/jdk1.8.0_381
export CLASSPATH=$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin

source  /etc/profile

參考：【Linux】銀河麒麟V10 ARM架構(gòu)_安裝JDK8-kylinV10（Kylin Linux Advanced Server V10 ）操作系統(tǒng)(CentOS8)_開著拖拉機(jī)回家的博客-CSDN博客

4.1.11 安裝httpd服務(wù) (每臺)

yum -y install httpd
systemctl start httpd.service
systemctl enable httpd.service 
systemctl enable httpd.service 

4.2 repo配置

將tar包解壓，如下安裝包只需要在一臺服務(wù)器解壓即可。

mkdir -p /hadoop/hdp
cd /hadoop/hdp
tar -zxvf HDP-3.3.1.0-004-centos7_8-x86_64.tar.gz
tar -zxvf ambari-2.7.6.0-4-centos7_8-x86_64.tar.gz
tar -zxvf HDP-GPL-3.3.1.0-004-centos7_8-x86_64.tar.gz
tar -zxvf HDP-UTILS-1.1.0.22-centos7_8-x86_64.tar.gz

mkdir  ambari
mv  mv 2.7.6.0-4 ambari
mv gpl-3.3.1.0-004  HDP-GPL


cd /var/www/html/
ln -s /hadoop/hdp/ambari ./ambari
ln -s /hadoop/hdp/HDP ./HDP
ln -s /hadoop/hdp/HDP-GPL ./HDP-GPL
ln -s /hadoop/hdp/HDP-UTILS ./HDP-UTILS

編輯repo源，repo文件需要每臺服務(wù)器都有

cat >  /etc/yum.repos.d/ambari.repo  << EOF
[ambari-2.7.6.0]
name=ambari Version - ambari-2.7.6.0
baseurl=http://windp-aio/ambari/2.7.6.0-4/
enabled=1
gpgcheck=0
gpgkey=http://windp-aio/ambari/2.7.6.0-4/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
EOF

cat > /etc/yum.repos.d/hdp-utils.repo  << EOF
[HDP-UTILS-1.1.0.22]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.22
baseurl=http://windp-aio/HDP-UTILS/centos7/1.1.0.22/
gpgcheck=0
EOF

cat > /etc/yum.repos.d/hdp.repo << EOF
[HDP-3.3.1.0]
name=HDP Version - HDP-3.3.1.0
baseurl=http://windp-aio/HDP/3.3.1.0-004
gpgcheck=0
enabled=1

[HDP-GPL]
name=HDP-GPL
baseurl=http://windp-aio/HDP-GPL/
gpgcheck=0
EOF

yum 源查看

# 清除依賴
yum clean all
# 緩存
yum makecache
# 查看
yum repolist

配置的源可以在瀏覽器查看

五、安裝Ambari-server

5.1 安裝ambari-server

 yum -y install ambari-server

MySQL安裝 ：【MySQL】銀河麒麟V10 ARM架構(gòu)_安裝 MySQL8一 kylinV10（Kylin Linux Advanced Server V10 ）操作系統(tǒng)(CentOS8)_開著拖拉機(jī)回家的博客-CSDN博客

# ambari 元數(shù)據(jù)庫初始化，將如下SQL在 ambari 元數(shù)據(jù)庫中執(zhí)行創(chuàng)建元數(shù)據(jù)表
/var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

5.2 ambari-server setup

[root@hidataplus yum.repos.d]# ambari-server setup
Using python  /usr/bin/python
Setup ambari-server
Checking SELinux...
SELinux status is 'enabled'
SELinux mode is 'permissive'
WARNING: SELinux is set to 'permissive' mode and temporarily disabled.
OK to continue [y/n] (y)? y
Customize user account for ambari-server daemon [y/n] (n)? y
Enter user account for ambari-server daemon (root):
Adjusting ambari-server permissions and ownership...
Checking firewall status...
Checking JDK...
Do you want to change Oracle JDK [y/n] (n)? y
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Custom JDK
==============================================================================
Enter choice (1): 2                     
WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.
WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.
Path to JAVA_HOME: /usr/java/jdk1.8.0_162
Validating JDK on Ambari Server...done.
Check JDK version for Ambari Server...
JDK version found: 8
Minimum JDK version is 8 for Ambari. Skipping to setup different JDK for Ambari Server.
Checking GPL software agreement...
GPL License for LZO: https://www.gnu.org/licenses/old-licenses/gpl-2.0.en.html
Enable Ambari Server to download and install GPL Licensed LZO packages [y/n] (n)? 
Completing setup...
Configuring database...
Enter advanced database configuration [y/n] (n)? y
Configuring database...
==============================================================================
Choose one of the following options:
[1] - PostgreSQL (Embedded)
[2] - Oracle
[3] - MySQL / MariaDB
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere
[7] - BDB
==============================================================================
Enter choice (1): 3
Hostname (localhost): 192.168.2.211
Port (3306): 
Database name (ambari): kylin_ambari
Username (ambari): 
Enter Database Password (bigdata): 
Re-enter password: 
Configuring ambari database...
Should ambari use existing default jdbc /usr/share/java/mysql-connector-java.jar [y/n] (y)? y
Configuring remote database connection properties...
WARNING: Before starting Ambari Server, you must run the following DDL directly from the database shell to create the schema: /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
Proceed with configuring remote database connection properties [y/n] (y)? 
Extracting system views...
ambari-admin-2.7.6.0.0.jar
..
Ambari repo file doesn't contain latest json url, skipping repoinfos modification
Adjusting ambari-server permissions and ownership...
Ambari Server 'setup' completed successfully.
[root@hidataplus yum.repos.d]# 

5.3 啟動(dòng)ambari

ambari-server start 
ambari-server status

登錄 IP:8080，賬號密碼默認(rèn)：admin。

六、HDP 安裝

第一次登錄進(jìn)去的默認(rèn)界面如下圖所示，點(diǎn)擊紅框按鈕。

輸入集群名稱 ，點(diǎn)擊NEXT

選擇HDP的版本，這里使用的是3.3版本，repo源根據(jù)前面的配置文件填寫

輸入節(jié)點(diǎn)主機(jī)名列表

sz  /root/.ssh/id_rsa

私鑰文件下載到本地上傳選擇“CHOOSE FILE”，直接復(fù)制可能 報(bào)錯(cuò)，所以選擇文件穩(wěn)妥一點(diǎn)。

彈出Warning（一般是主機(jī)名不符合規(guī)范），可以忽略。

等待服務(wù)器注冊，如下的 check 信息要檢查通過才行，可能會(huì)檢查出問題，有什么問題就解決什么問題。

NEXT按鈕可用，直接點(diǎn)擊開始下一步。（如果有Warning，則可忽略）

選擇要安裝的組件（按需選擇，不用參考下圖），千萬別一下子都選了， 選太多容易崩，所以按需安裝。

忽略Warning 直接安裝

選擇每個(gè)節(jié)點(diǎn)具體安裝的組件，如下是單機(jī)測試環(huán)境（測試的話，自動(dòng)默認(rèn)就行，生產(chǎn)安裝，需要做節(jié)點(diǎn)規(guī)劃）

選擇服務(wù)器上安裝的客戶端

配置密碼，建議使用一種，好記 ， 如： 123456@001

配置hive數(shù)據(jù)庫，測試通過

 注意：測試連接不通過可以按照提示， 手動(dòng)設(shè)置驅(qū)動(dòng)包的位置：
ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar

ranger數(shù)據(jù)庫配置，測試通過

存儲(chǔ)路徑修改，根據(jù)需求自行修改，一般日志和數(shù)據(jù)存儲(chǔ)選擇數(shù)據(jù)盤

賬號確認(rèn)

組件參數(shù)修改

根據(jù)資源大小自行修改，像NameNode ，HBase Master ，默認(rèn)都是1G ，根據(jù)生產(chǎn)環(huán)境資源情況自行修改。

Next ，確認(rèn)下一步

REVIEW , 點(diǎn)擊DEPLOY

安裝完成， 如下 黃色代表某些組件 啟動(dòng)失敗，沒關(guān)系我們手動(dòng) 一個(gè)一個(gè)組件啟動(dòng)，遇到問題再解決。

點(diǎn)擊 COMPLETE

安裝完成，啟動(dòng)失敗的組件我們逐個(gè)擊破就行。

開啟NameNdoe ，HMaster，ResourceManager高可用在頁面操作即可，比較簡單。

七、遇到的問題

UseG1GC參數(shù)問題

報(bào)錯(cuò)日志如下：

[root@windp-aio hive]# cat hive-server2.err 
Error: VM option 'UseG1GC' is experimental and must be enabled via -XX:+UnlockExperimentalVMOptions.
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.
Error: VM option 'UseG1GC' is experimental and must be enabled via -XX:+UnlockExperimentalVMOptions.
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.

需要去掉 G1 參數(shù)

將搜索到的 我們都去掉

hbase 啟動(dòng)報(bào)錯(cuò) ，在Ambari 頁面將 'UseG1GC' 參數(shù)去掉后 保存重啟 問題解決。

[hdfs@windp-aio hbase]$ cat hbase-hbase-master-windp-aio.out
Error: VM option 'UseG1GC' is experimental and must be enabled via -XX:+UnlockExperimentalVMOptions.
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.
[hdfs@windp-aio hbase]$ 

八、開啟Kerberos

8.1 安裝kerberos

kerberos 入門介紹：【Hadoop】通俗易懂 Kerberos原理_kerberos principal_開著拖拉機(jī)回家的博客-CSDN博客

yum 安裝 kerberos

# 在Server機(jī)子上安裝Kerberos
yum install krb5-server krb5-libs krb5-workstation -y
# 在Client 節(jié)點(diǎn)安裝
yum install -y krb5-workstation krb5-libs

配置krb5.conf

cat /etc/krb5.conf

[libdefaults]
  # renew_lifetime = 7d
  forwardable = true
  default_realm = WINNER.COM  # 需修改
  ticket_lifetime = 24h
  dns_lookup_realm = false
  dns_lookup_kdc = false
  default_ccache_name = /tmp/krb5cc_%{uid}
  #default_tgs_enctypes = aes256-cts aes256-cts-hmac-sha1-96 aes128-cts-hmac-sha1-96
  #default_tkt_enctypes = aes256-cts aes256-cts-hmac-sha1-96 aes128-cts-hmac-sha1-96

[logging]
  default = FILE:/var/log/krb5kdc.log
  admin_server = FILE:/var/log/kadmind.log
  kdc = FILE:/var/log/krb5kdc.log

[realms]
  WINNER.COM = { # 需修改
    admin_server = windp-aio
    kdc = windp-aio
  }

編輯Kdc文件

 cat /var/kerberos/krb5kdc/kdc.conf
[kdcdefaults]
 kdc_ports = 88
 kdc_tcp_ports = 88

[realms]
 WINNER.COM = {  # 需修改
  #master_key_type = aes256-cts
  acl_file = /var/kerberos/krb5kdc/kadm5.acl
  dict_file = /usr/share/dict/words
  admin_keytab = /var/kerberos/krb5kdc/kadm5.keytab
  permitted_enctypes = aes256-cts:normal aes128-cts:normal des3-hmac-sha1:normal arcfour-hmac:normal camellia256-cts:normal camellia128-cts:normal des-hmac-sha1:normal des-cbc-md5:normal des-cbc-crc:normal
 }

編輯acl文件

vim /var/kerberos/krb5kdc/kadm5.acl
*/admin@WINNER.COM   *

• *： 全部的主體
• /admin: admin實(shí)例
• @WINNER.COM： 領(lǐng)域
• 最后 *：全部權(quán)限

此授權(quán)的意思：授予admin 實(shí)例的全部主體對應(yīng)的WINNER.COM 領(lǐng)域的全部權(quán)限，也就是創(chuàng)建 Kerberos 主體的時(shí)候如果實(shí)例為 admin ， 就具有WINNER.COM領(lǐng)域的全部權(quán)限，比如創(chuàng)建如下的主體 user1/admin 就擁有全部的 WINNER.COM 領(lǐng)取的權(quán)限。

Principal:安全個(gè)體，具有唯一命名的客戶端和服務(wù)器，命名規(guī)則：主體+實(shí)例+領(lǐng)域 ，如：

admin/admin@WINNER.COM

創(chuàng)建完成后/var/kerberos/krb5kdc目錄下會(huì)生成對應(yīng)的文件

創(chuàng)建kdc數(shù)據(jù)庫

[root@windp-aio ~]# kdb5_util create -s -r WINNER.COM
Loading random data
Initializing database '/var/kerberos/krb5kdc/principal' for realm 'WINNER.COM',
master key name 'K/M@WINNER.COM'
You will be prompted for the database Master Password.
It is important that you NOT FORGET this password.
Enter KDC database master key: 
Re-enter KDC database master key to verify: 

創(chuàng)建管理員主體

創(chuàng)建管理員主體/實(shí)例

[root@windp-aio ~]# kadmin.local -q "addprinc admin/admin"
Authenticating as principal root/admin@WINNER.COM with password.
WARNING: no policy specified for admin/admin@WINNER.COM; defaulting to no policy
Enter password for principal "admin/admin@WINNER.COM": 
Re-enter password for principal "admin/admin@WINNER.COM": 
Principal "admin/admin@WINNER.COM" created.

啟動(dòng)服務(wù)

systemctl start krb5kdc
systemctl start kadmin

systemctl status krb5kdc
systemctl status kadmin

8.2 Ambari啟動(dòng)kerberos

進(jìn)入Ambari 管理界面，啟用Kerberos，“ENABLE KERBEROS”

Warning 不用管

并按如下圖選MIT KDC， 下面的三個(gè)框我們都選上

KDC hosts填寫 hostname，確保測試通過

Kerberos Client 安裝和測試

配置文件確認(rèn)

可以下載 kerberos csv 文件， 然后Next

stop service ， Next

全部通過后， Next ，如若失敗 重試解決問題

start All service

呀， 報(bào)錯(cuò)了，意料之中吧 ，直接COMPLETE ，然后查看啟動(dòng)不了的組件

啟動(dòng)完成

參考文章：

麒麟系統(tǒng)安裝HDP【已解決】_Danger_Life的博客-CSDN博客文章來源地址http://www.zghlxwxcb.cn/news/detail-724457.html

到了這里，關(guān)于【Ambari】銀河麒麟V10 ARM64架構(gòu)_安裝Ambari2.7.6&HDP3.3.1(HiDataPlus)的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！