????????本書涵蓋了Docker和Kubernetes的基本概念及常用命令，以及Zookeeper、HDFS、YARN、YARN資源池、HBase、HBase集成Phoenix、Hive、Kafka、Spark、Flink等大數(shù)據(jù)技術(shù)的常用命令。
Zookeeper
安裝kerberos客戶端
yum install krb5-workstation -y
安裝Zookeeper客戶端
wget?https://dlcdn.apache.org/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz
解壓
tar -zxvf apache-zookeeper-3.6.3-bin.tar.gz
啟動(dòng)zk服務(wù)端
./zkCli.sh -server zknode-4454-15044:2181
查看ls / 數(shù)據(jù)打印說(shuō)明啟動(dòng)成功
HDFS
安裝插件yum install -y wget
添加Hadoop客戶端
解壓tar -zxvf hadoop-3.2.4.tar.gz
將HDFS組件所在位置的hadoop文件拷貝到遠(yuǎn)程客戶端
路徑hadoop：/opt/hadoop/etc/hadoop
scp -r hadoop?root@172.1.1.1:/root/Test02/Hadoop/hadoop/etc/
在拷貝到/etc/
登錄賬號(hào)kinit zuser01/test
輸入密碼：123456
主機(jī)上需具備jdk (zk\hadoop\hive\hbase都需要JDK環(huán)境)
修改環(huán)境配置
cat /etc/profile.d/my_env.sh
vim /etc/profile.d/my_env.sh
source /etc/profile
遠(yuǎn)程鏈接NameNode
./hdfs dfs -ls hdfs://172.18.1.91/
未配置策略時(shí)，會(huì)有相應(yīng)提示無(wú)權(quán)限
遠(yuǎn)程創(chuàng)建文件
./hdfs dfs -mkdir hdfs://172.18.1.91/testHadoop
查看./hdfs dfs -ls hdfs://172.18.1.91/
創(chuàng)建文件 ./hdfs dfs -mkdir hdfs://172.18.1.91/testHadoop
上傳文件
./hdfs dfs -put hadoop.txt hdfs://172.18.1.91/testHadoop
查看
./hdfs dfs -cat hadoop.txt hdfs://172.18.1.91/testHadoop/hadoop.txt
下載
./hdfs dfs -get hdfs://172.18.1.91/testHadoop/hadoop.txt
本地pod刪除文件
hdfs dfs -rm -r /output2
YARN
查看
yarn application -list
寫入
yarn jar /root/Test02/Hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.2.4-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 1000
讀取read
yarn jar /root/Test02/Hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.2.4-tests.jar TestDFSIO -read -nrFiles 10 -fileSize 1000
YARN資源池
進(jìn)入yarn pod里面找到調(diào)度器配置
cd /opt/hadoop/etc/hadoop
查看默認(rèn)隊(duì)列信息
yarn queue -status default
創(chuàng)建文件并放入hdfs目錄下
echo “hello yarn”>>yarnSche.txt
hdfs dfs -mkdir /yarnScheduler
hdfs dfs -put yarnSche.txt /yarnScheduler
FIFO策略不指定隊(duì)列提交任務(wù)
yarn jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.4.jar wordcount /yarnScheduler/yarnSche.txt /output
任務(wù)執(zhí)行成功，會(huì)在root.default中展示
FIFO策略指定隊(duì)列提交任務(wù)
yarn jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.4.jar wordcount -D mapreduce.job.queuename=root.ztest /yarnScheduler/yarnSche.txt /output
更新下載 apt-get update
安裝vim ：yum -y install vim
修改配置文件的命令，不通過(guò)組件配置頁(yè)面修改，通過(guò)xshell外部命令進(jìn)行修改
docker inspect fe1
cat /etc/cyber-ops/YARN/3.2.4/ResourceManager/25020/capacity-scheduler.xml
Fair策略
不指定隊(duì)列
yarn jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.4.jar wordcount /yarnScheduler/yarnSche.txt /outpu12
指定隊(duì)列
yarn jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.4.jar wordcount -D mapreduce.job.queuename=root.ztest.eng /yarnScheduler/yarnSche.txt /outpu12
Drf策略
不指定隊(duì)列
yarn jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.4.jar wordcount /yarnScheduler/yarnSche.txt /outpu10
指定隊(duì)列
yarn jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.4.jar wordcount -D mapreduce.job.queuename=root.ztest /yarnScheduler/yarnSche.txt /outpu12
查看正在執(zhí)行的隊(duì)列
yarn application –list
刪除隊(duì)列
yarn application -kill application_1676515216453_0002
Capctity
不指定隊(duì)列提交
yarn jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.4.jar wordcount /yarnScheduler/yarnSche.txt /outpu10
指定隊(duì)列提交
yarn jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.4.jar wordcount -D mapreduce.job.queuename=root.test /yarnScheduler/yarnSche.txt /outpu12
HBase
apt-get update -y && apt-get install -y openssh-client 安裝scp
連接bin/hbase shell
查看
list
創(chuàng)建表
create ‘zrtest’, ‘test’
插入
put ‘zrtest’,’1’,’test’,’zs’
查詢
get ‘zrtest’,’1’
刪除
delete ‘zrtest’,’1’,’test’
Hbase集成Phonenix
進(jìn)入Hbase的終端bin下，操作phonenix
sqlline.py
查詢表
!tables
!describe tablename可以查看表字段信息
創(chuàng)建表
create table “test”(
empid varchar primary key,
“name”.”firstname” varchar,
“name”.”lastname” varchar,
“company”.”name” varchar,
“company”.”address” varchar
);
查詢表
select * from “test”;
查看表信息
!table “test”
插入數(shù)據(jù)
UPSERT INTO “test”(“EMPID”,”firstname”,”lastname”,”name”,”addres”) VALUES(‘1’,’foo’,’zr’,’zrgg’,’123hao’);
更新數(shù)據(jù)
UPSERT INTO “test”(“EMPID”,”firstname”,”lastname”,”name”,”addres”) VALUES(‘1’,’fee’,’zr’,’zrgg’,’123hao’);
翻頁(yè)查詢
select * from “test” order by EMPID desc limit 1 offset 0;
刪除表信息
delete from “test” where “EMPID”=’1’;
在Hbase中查看Phoenix的表信息
List
scan ‘test’
刪除表
drop table “test”;
在Hbase中創(chuàng)建表
create ‘phoenix’,’info’
插入數(shù)據(jù)
put ‘phoenix’, ‘row001’,’info:name’,’phoenix’
put ‘phoenix’, ‘row002’,’info:name’,’hbase’
phoenix下創(chuàng)建視圖映射HBase表
create view “phoenix” (
pk VARCHAR primary key,
“info”.”name” VARCHAR
);
查詢，數(shù)據(jù)已可查到
select * from “phoenix”;
Hive
安裝遠(yuǎn)程客戶端
wget?https://dlcdn.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz
解壓
tar -zxvf apache-hive-3.1.2-bin_(1).tar.gz
beenline連接時(shí)，根據(jù)hive-site中的principal進(jìn)行連接
beeline -u “jdbc:hive2://172.18.1.1:30862/;24695@CYBEROPS.DATAC.COM" rel="nofollow"">principal=hive/haproxy-5487-24695@CYBEROPS.DATAC.COM“
查看
show databases;
創(chuàng)表
create table zhvie(id int ,name string);
查表
select * from zhvie;
插入表
insert into zhvie values(1,’zhangsan’);
Kafka
下載kafka客戶端
wget?https://archive.apache.org/dist/kafka/2.8.2/kafka_2.12-2.8.2.tgz
安裝客戶端
tar -zxvf kafka_2.12-2.8.2.tgz
查看list
bin/kafka-topics.sh –list –bootstrap-server kafkanode-4627-15759:31966 –command-config config/consumer.properties
創(chuàng)建
bin/kafka-topics.sh –bootstrap-server kafkanode-4627-15759:31966 –create –topic first –partitions 2 replication-factor 3 –command-config config/producer.properties
刪除topic 單個(gè)
bin/kafka-topics.sh –bootstrap-server kafkanode-4627-15759:31966 –delete –topic zutesttp –command-config config/consumer.properties
刪除多個(gè)
bin/kafka-topics.sh –bootstrap-server kafkanode-4627-15759:31966 –delete –topic zutes,hkaft –command-config config/consumer.properties
修改
bin/kafka-topics.sh –bootstrap-server kafkanode-4627-15759:31966 –alter –topic first –partitions 1 replication-factor 2 –command-config config/producer.properties
查看每一個(gè)topic詳情
bin/kafka-topics.sh –bootstrap-server kafkanode-4627-15759:31966 –describe –topic first –command-config config/producer.properties
生產(chǎn)消息
bin/kafka-console-producer.sh –bootstrap-server kafkanode-4627-15759:31966 –topic zuser01 –producer.config config/producer.properties
當(dāng)生產(chǎn)者填寫數(shù)據(jù)后，消費(fèi)者可看到發(fā)送的消息
消費(fèi)消息
bin/kafka-console-consumer.sh –bootstrap-server kafkanode-4627-15759:31966 –topic zuser01 –consumer.config config/producer.properties
查看之前發(fā)送的所有消息
bin/kafka-console-consumer.sh –bootstrap-server kafkanode-4627-15759:31966 –topic zuser01 –from-beginning –consumer.config config/producer.properties
Spark
下載客戶端
wget?https://archive.apache.org/dist/spark/spark-3.2.2/spark-3.2.2-bin-hadoop3.2.tgz
解壓
tar -zxvf spark-3.2.2-bin-hadoop3.2.tgz
spark提交任務(wù)，任務(wù)從hdfs中獲取jar包文件，然后執(zhí)行jar文件
spark-submit -v –deploy-mode cluster –class org.apache.spark.examples.SparkPi –master yarn hdfs:///spark-examples_2.12-3.2.2.jar 1
Flink
下載客戶端
wget?https://archive.apache.org/dist/flink/flink-1.13.6/flink-1.13.6-bin-scala_2.12.tgz
解壓
tar -zxvf flink-1.13.6-bin-scala_2.12.tgz
安裝scp插件
升級(jí)版本apt update && apt install -y libtinfo5 –allow-remove-essential
apt-get update -y && apt-get install -y openssh-client 安裝scp
在本地pod中執(zhí)行任務(wù)
flink run examples/batch/WordCount.jar
停止yarn session
echo “stop” | yarn-session.sh -id application_1678335961951_0003
強(qiáng)制殺死yarn session
yarn application -kill application_1678335961951_0003
向指定yarn session提交任務(wù)：
flink run -t yarn-session -Dyarn.application.id=application_1678335961951_0003 examples/batch/WordCount.jar
flink run examples/batch/DistCp.jar –input hdfs:///LICENSE –output hdfs:///ddd
Docker和K8s操作命令
docker命令相關(guān)————————-
docker ps【列出docker下的容器列表】
yum -y remove docker-ce 【卸載docker】
docker ps
ps -ef | grep agent
docker ps【列出docker下的容器列表】
cd .ssh/【進(jìn)入到.ssh文件下 目錄 /root/.ssh】
ll【查看數(shù)據(jù)信息】
cat authorized_keys【查看公鑰】
ssh?root@172.1.1.1
ctrl+d 登出
pwd【查看目錄信息】
hostname【查看主機(jī)名稱】
docker logs –tail=500 -f 21d6bb5052e2【查看日志信息 21d6bb5052e2是CONTAINER ID的標(biāo)識(shí)】
ctrl +c 【退出查看日志】
docker exec -it 21d6bb5052e2 bash 【進(jìn)入到組件的終端 21d6bb5052e2是CONTAINER ID的標(biāo)識(shí)】
docker stats 【查看資源使用情況】
docker search centos 【查看下載stars最多的鏡像】
yum install -y lrzsz 【安裝插件】
docker命令相關(guān)————————-結(jié)束———————
k8s命令相關(guān)——————-開始—————————
-n 后跟k8s命名空間信息
kubectl -h 【查看具體操作參數(shù)】
kubectl get nodes 【獲取節(jié)點(diǎn)信息】
kubectl get pods【獲取節(jié)點(diǎn)信息】
kubectl cluster-info【查看集群信息】
kubectl get pods -n cyberops-l8nc 【查看各組件信息 cyberops-l8nc 是K8s命名空間】
kubectl get pods -o wide 【查看pods所在的運(yùn)行節(jié)點(diǎn)】
kubectl get pods -o yaml【查看pods定義的詳細(xì)信息】
kubectl exec pod-hs-2853-13904 env -n cyberops-l8nc 【查看pods環(huán)境變量】
kubectl exec pod-hs-2853-13904 env -n cyberops-l8nc | grep HADOOP 【查看hadoop信息】
kubectl describe pod pod-hs-2853-13904 -n cyberops-l8nc 【查看pod應(yīng)用信息】
kubectl describe node master-01 【查看node節(jié)點(diǎn)日志信息】
kubectl logs –tail 200 -f pod-hs-2853-13904 -n cyberops-l8nc 【查看日志信息】
kubectl logs –since=1h pod-hs-2853-13904 -n cyberops-l8nc【查看pod近一個(gè)小時(shí)的日志信息】
kubectl exec -it pod-hs-2853-13904 bash -n cyberops-l8nc 【進(jìn)入到組件的終端】
kubectl get service【查看命名空間】
kubectl get pods -n cyber-ops【查看ops下服務(wù)】
kubectl exec -it cyberops-web-5f546758b5-lmsdm bash -n cyber-ops 【免密進(jìn)入ops-web服務(wù)】
kubectl get pods -A 【查看所有在k8s運(yùn)行的集群】或者 kubectl get all
kubectl get pods -A -owide 【查看詳細(xì)信息】
kubectl get ns 【查看所有的命名空間】或者 kubectl get namespaces
kubectl get pod –show-labels 【查看標(biāo)簽信息】
kubectl get node、kubectl get nodes【查看節(jié)點(diǎn)信息】
kubectl get pods -o wide 【查看pod運(yùn)行的ip地址】
kubectl get pod –all-namespaces【查看所有pod的所屬命名空間】
kubectl get pod –all-namespaces -o wide 【查看命名空間和運(yùn)行節(jié)點(diǎn)】
kubectl get rs 【查看副本pod節(jié)點(diǎn)】
kubectl get ev | tail -n 10 【查看事件】
kubectl explain rs【查看資源文檔信息】
kubectl top nodes【查看node資源使用情況】
kubectl –help【查看幫助文檔】
kubectl version【查看版本號(hào)，詳細(xì)】或者 kubectl version –short 【簡(jiǎn)約】
ls -a 【查看隱藏文件】
kubectl logs –tail 500 -f cyberops-web-7fc98fddcb-hk7h7 -n cyber-ops 【查看ops項(xiàng)目下的日志信息】
kubectl get pods -n 【k8s空間名】 -w【監(jiān)控組件安裝】
kubectl get events -n cyberops-s97d 【查看k8s下的組件安裝信息】
kubectl get pods,svc -n cyberops-s97d 【查看端口信息】文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-811252.html
?文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-811252.html
到了這里，關(guān)于大數(shù)據(jù)與容器化技術(shù)指南：Docker、Kubernetes與大數(shù)據(jù)生態(tài)常用命令大全的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
