轉(zhuǎn)載自小蝦米0.0
導(dǎo)讀：隨著Kubernetes的普及和發(fā)展，越來(lái)越多的企業(yè)和團(tuán)隊(duì)開(kāi)始使用Kubernetes來(lái)管理和部署應(yīng)用程序。然而，Kubernetes的默認(rèn)工作方式可能不是最佳的選擇，尤其是在需要更高效、更可靠的應(yīng)用程序部署和管理能力時(shí)。因此，SeaTunnel提供了一種運(yùn)行Zeta引擎(local-mode模式)的方法，可以讓Kubernetes在本地運(yùn)行Zeta引擎，實(shí)現(xiàn)更高效的應(yīng)用程序部署和管理。在本文中，我們將探索SeaTunnel k8s運(yùn)行zeta引擎(local-mode模式)的更多信息，了解如何更好地利用Zeta引擎的優(yōu)勢(shì)。
運(yùn)行
- 將SeaTunnel上傳至服務(wù)器上。我之前已經(jīng)解壓并執(zhí)行過(guò)install-plugin.sh，這里為了方便，我直接用的執(zhí)行過(guò)install-plugin.sh腳本之后的seatunnel做演示。
執(zhí)行過(guò)install-plugin后的lib目錄包含如下
tar -zxvf apache-seatunnel-2.3.3-bin.tar.gz
sh apache-seatunnel-2.3.3/bin/install-plugin.sh
tar -czvf apache-seatunnel-2.3.3-bin.tar.gz apache-seatunnel-2.3.3
- 構(gòu)建SeaTunnel鏡像。在安裝seatunnel的同級(jí)文件夾下創(chuàng)建Dockerfile。配置如下，可自行選擇版本
FROM openjdk:8
ENV SEATUNNEL_VERSION="2.3.3"
COPY /apache-seatunnel-${SEATUNNEL_VERSION}-bin.tar.gz /opt/apache-seatunnel-${SEATUNNEL_VERSION}-bin.tar.gz
WORKDIR /opt
RUN tar -xzvf apache-seatunnel-${SEATUNNEL_VERSION}-bin.tar.gz
RUN mv apache-seatunnel-${SEATUNNEL_VERSION} seatunnel
RUN rm -f /opt/apache-seatunnel-${SEATUNNEL_VERSION}-bin.tar.gz
WORKDIR /opt/seatunnel
執(zhí)行命令
docker build -t seatunnel:2.3.3 -f Dockerfile.
- 查看鏡像
docker images
如下所示鏡像
- 將鏡像load進(jìn)k8s，這里用的minikube做演示
minikube image load seatunnel:2.3.3
minikube image ls
查看鏡像
- 創(chuàng)建seatunnel.streaming.conf
如下所示
env {
execution.parallelism = 1
job.mode = "STREAMING"
checkpoint.interval = 2000
}
source {
FakeSource {
result_table_name = "fake"
row.num = 160000
schema = {
fields {
name = "string"
age = "int"
}
}
}
}
transform {
}
sink {
Console {}
}
- 創(chuàng)建configmap
kubectl create cm seatunnel-config \
--from-file=seatunnel.streaming.conf=seatunnel.streaming.conf
- 創(chuàng)建seatunnel.yaml如下示例
apiVersion: v1
kind: Pod
metadata:
name: seatunneltest
spec:
containers:
- name: seatunnel
image: seatunnel:2.3.3
command: ["/bin/sh","-c","/opt/seatunnel/bin/seatunnel.sh --config /data/seatunnel.streaming.conf -e local"]
volumeMounts:
- name: seatunnel-config
mountPath: /data/seatunnel.streaming.conf
subPath: seatunnel.streaming.conf
volumes:
- name: seatunnel-config
configMap:
name: seatunnel-config
items:
- key: seatunnel.streaming.conf
path: seatunnel.streaming.conf
~
執(zhí)行
kubectl apply -f seatunnel.yaml
查看pod結(jié)果如下
版權(quán)聲明：本文為博主原創(chuàng)文章，遵循 CC 4.0 BY-SA 版權(quán)協(xié)議，轉(zhuǎn)載請(qǐng)附上原文出處鏈接和本聲明。
原文鏈接：https://blog.csdn.net/weixin_41854429/article/details/132619265文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-856688.html
本文由 白鯨開(kāi)源 提供發(fā)布支持！文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-856688.html
到了這里，關(guān)于手把手教你掌握SeaTunnel k8s運(yùn)行Zeta引擎本地模式的技巧的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
