GitLab CI 是非常常用的一款 CI/CD 工具，只需要在 .gitlab-ci.yml?文件中用 YAML 語法編寫 CI/CD 流水線即可。而 GitLab CI 能夠運行的關鍵組件是 GitLab Runner。GitLab Runner 是一個輕量級、高擴展的代理，主要用來執(zhí)行 GitLab CI/CD 流水線中的 Job，然后將 Job 的執(zhí)行結果返回 GitLab 實例。
GitLab Runner 的安裝方式有很多種，包括安裝包、Docker、Helm Chart 等，本文將用 GitLab Runner Operator 的方式來在 k3s 上安裝 GitLab Runner，并執(zhí)行 CI/CD 流水線。關于其他安裝方式的詳情，可以查看?GitLab Runner 安裝文檔。
GitLab Runner Operator?主要是在 Kubernetes 平臺上來管理 GitLab Runner。在 Kubernetes 平臺上安裝 GitLab Runner 有兩個先決條件：
- Kubernetes 的版本必須是 v1.21.1 以上
- Cert manager 的版本為 v1.7.1 以上
本文使用 k3s 來搭建一個 Kubernetes 平臺。
k3s 的安裝
k3s 是經(jīng) CNCF 一致性認證的 Kubernetes 發(fā)行版，專為物聯(lián)網(wǎng)及邊緣計算而設計。簡言之，k3s 是一個輕量級的 Kubernetes 發(fā)行版。
k3s 的安裝非常簡單，對于國內用戶來講，執(zhí)行如下命令可以加速 k3s 的安裝：
$ curl -sfL https://rancher-mirror.rancher.cn/k3s/k3s-install.sh | INSTALL_K3S_MIRROR=cn sh -
[INFO] ?Finding release for channel stable
[INFO] ?Using v1.28.5+k3s1 as release
[INFO] ?Downloading hash rancher-mirror.rancher.cn/k3s/v1.28.5-k3s1/sha256sum-amd64.txt
[INFO] ?Downloading binary rancher-mirror.rancher.cn/k3s/v1.28.5-k3s1/k3s
[INFO] ?Verifying binary download
[INFO] ?Installing k3s to /usr/local/bin/k3s
[INFO] ?Skipping installation of SELinux RPM
[INFO] ?Creating /usr/local/bin/kubectl symlink to k3s
[INFO] ?Creating /usr/local/bin/crictl symlink to k3s
[INFO] ?Skipping /usr/local/bin/ctr symlink to k3s, command exists in PATH at /usr/bin/ctr
[INFO] ?Creating killall script /usr/local/bin/k3s-killall.sh
[INFO] ?Creating uninstall script /usr/local/bin/k3s-uninstall.sh
[INFO] ?env: Creating environment file /etc/systemd/system/k3s.service.env
[INFO] ?systemd: Creating service file /etc/systemd/system/k3s.service
sh: 1014: restorecon: not found
sh: 1015: restorecon: not found
[INFO] ?systemd: Enabling k3s unit
Created symlink /etc/systemd/system/multi-user.target.wants/k3s.service → /etc/systemd/system/k3s.service.
[INFO] ?systemd: Starting k3s接著可以查看 k3s 是否安裝成功：
#查看 k3s 版本
$ k3s --version
k3s version v1.28.5+k3s1 (5b2d1271)
go version go1.20.12
# 查看 k3s 集群
$ kubectl get nodes
NAME ? ? ? ? ? ? STATUS ? ROLES ? ? ? ? ? ? ? ? ?AGE ? VERSION
vm-0-12-ubuntu ? Ready ? ?control-plane,master ? 38s ? v1.28.5+k3s1上述命令已經(jīng)快速構建了一個單節(jié)點的 k3s 集群。接下來就可以在這個 k3s 集群上使用 GitLab Runner Operator 來安裝 GitLab Runner 了。安裝詳情可以在 OperatorHub.io 上查看詳細步驟。
GitLab Runner Operator 的安裝
在安裝之前首先需要安裝 cert-manager。
安裝 cert-manager
使用如下命令即可完成安裝。
$ kubectl apply -f https://github.com/jetstack/cert-manager/releases/download/v1.7.1/cert-manager.yaml
customresourcedefinition.apiextensions.k8s.io/certificaterequests.cert-manager.io created
customresourcedefinition.apiextensions.k8s.io/certificates.cert-manager.io created
customresourcedefinition.apiextensions.k8s.io/challenges.acme.cert-manager.io created
......太長了，刪除一部分輸出日志......
mutatingwebhookconfiguration.admissionregistration.k8s.io/cert-manager-webhook created
validatingwebhookconfiguration.admissionregistration.k8s.io/cert-manager-webhook created上述過程中安裝了 N 多 Kubernetes 資源。
安裝 Operator Lifecycle Manager
接下來要安裝 Operator Lifecycle Manager（OLM），這是一個能夠對 Kubernetes 集群上 Operator 進行管理的工具。使用如下命令安裝：
$ curl -sL https://github.com/operator-framework/operator-lifecycle-manager/releases/download/v0.26.0/install.sh | bash -s v0.26.0
customresourcedefinition.apiextensions.k8s.io/catalogsources.operators.coreos.com created
customresourcedefinition.apiextensions.k8s.io/clusterserviceversions.operators.coreos.com created
......太長了，刪除一部分輸出日志......
Waiting for deployment "olm-operator" rollout to finish: 0 of 1 updated replicas are available...
deployment "olm-operator" successfully rolled out
deployment "catalog-operator" successfully rolled out
Package server phase: Installing
Package server phase: Succeeded
deployment "packageserver" successfully rolled out可以將上面的版本換成自己想要的版本，比如 `v0.22.0`。
安裝 Operator
接下來執(zhí)行如下命令來完成 Operator 的安裝：
$ kubectl create -f https://operatorhub.io/install/stable/gitlab-runner-operator.yaml
subscription.operators.coreos.com/my-gitlab-runner-operator created查看安裝的 Operator
使用如下命令查看 Operator 是否安裝成功
# 查看 csv 資源
$ kubectl get csv -n operators
NAME ? ? ? ? ? ? ? ? ? ? ? ? ? ? DISPLAY ? ? ? ? VERSION ? REPLACES ? ? ? ? ? ? ? ? ? ? ? ? PHASE
gitlab-runner-operator.v1.15.1 ? GitLab Runner ? 1.15.1 ? ?gitlab-runner-operator.v1.15.0 ? Succeeded
# 查看 pod 狀態(tài)
$ kubectl -n operators get pods
NAME ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?READY ? STATUS ? ?RESTARTS ? AGE
gitlab-runner-controller-manager-5b7f856fc5-fhk2f ? 2/2 ? ? Running ? 0 ? ? ? ? ?20h接下來就可以使用 GitLab Runner Operator 來創(chuàng)建 GitLab Runner 了。
使用 Operator 創(chuàng)建 GitLab Runner
本文使用 GitLab 中國發(fā)行版——極狐GitLab 來進行測試。極狐GitLab 是 GitLab 除 CE/EE 之外發(fā)行的另外一個版本，專門面向中國用戶?？梢运接谢渴穑部梢允褂?SaaS（jihulab.com)。
創(chuàng)建 GitLab Runner 之前，需要明確創(chuàng)建什么樣的 Runner，是共享的還是專有的，是群組級別的還是項目級別的。關于 GitLab Runner 的作用范圍可以查看?GitLab Runner 官方文檔。
獲取 Runner 注冊 token
以注冊項目 Runner 為例來說，在項目 --> 設置 --> CI/CD --> Runner 中，選擇新建項目 Runner：
點擊新建項目 Runner 選項，在出現(xiàn)的界面中填寫好對于的信息，包括 Runner 標簽、描述等：
點擊創(chuàng)建 Runner就會出現(xiàn)注冊 Runner 的命令，在命令中就有 Runner 注冊的 token，默認以 plrt?開頭。
一定要保存好此 token，后面會用到。
創(chuàng)建包含注冊 token 的 secret
將上一步中獲取的 Runner 注冊 token 存入下方的 yaml 文件：
cat > gitlab-runner-secret.yml << EOF
? apiVersion: v1
? kind: Secret
? metadata:
? ? name: jh-gitlab-runner-secret
? type: Opaque
? stringData:
? ? runner-registration-token: REPLACE_ME # 上一步中創(chuàng)建的 Runner 注冊 token
? EOF使用如下命令創(chuàng)建 secret
$ kubectl ?apply -f gitlab-runner-secret.yml
secret/jh-gitlab-runner-secret created創(chuàng)建 Runner CRD
Runner CRD yaml 文件內容如下：
cat > gitlab-runner.yml << EOF
apiVersion: apps.gitlab.com/v1beta2
kind: Runner
metadata:
? ? name: gitlab-runner
spec:
? ? gitlabUrl: https://jihulab.com
? ? buildImage: alpine
? ? token: jh-gitlab-runner-secret
EOF參數(shù)說明：
- gitlabUrl：GitLab/極狐GitLab 實例的地址，本文使用極狐GitLab SaaS，地址為 https://jihulab.com。
- token：上一步創(chuàng)建的 secret 名稱。
使用如下命令完成 Runner CRD 的創(chuàng)建：
$ kubectl apply -f gitlab-runner.yml
runner.apps.gitlab.com/jh-gitlab-runner created接著確認一下 Runner CRD 是否創(chuàng)建成功：
# 查看 Runner CRD 資源
kubectl get runner
NAME ? ? ? ? ? ? ? AGE
jh-gitlab-runner ? 20h
# 查看 Runner pod
$ kubectl ?get pods
NAME ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? READY ? STATUS ? ?RESTARTS ? AGE
jh-gitlab-runner-runner-6f7c4bf7dc-r9lzh ? 1/1 ? ? Running ? 0 ? ? ? ? ?16h接著就可以在項目的 Runner 頁面查看 Runner 是否注冊成功：
可以看到有一個該項目專用的 Runner 已經(jīng)注冊成功。接下來測試此 Runner。
Runner 測試
在項目的 .gitlab-ci.yml?文件中寫入一個構建容器鏡像并推送到極狐GitLab 內置的鏡像倉庫的 Job 配置：
build:
? image: docker:latest
? stage: build
? tags:
? ? - jh
? services:
? ? - docker:20.10.7-dind
? script:
? ? - docker login -u "$CI_REGISTRY_USER" -p "$CI_REGISTRY_PASSWORD" $CI_REGISTRY
? ? - docker build -t $CI_REGISTRY_IMAGE:v1.0.0 .
? ? - docker push $CI_REGISTRY_IMAGE:v1.0.0
觸發(fā)流水線，然后在項目 --> 構建 --> 流水線中查看結果：
可以看到流水線構建成功。再查看構建日志，確認構建此次流水線所需的 Runner 是否為上面創(chuàng)建的 Runner：
從紅色方框的信息看，此次 CI/CD 流水線構建使用的就是上述用 GitLab Runner Operator 創(chuàng)建出來的 Runner。
過程中遇到的問題及修復方案
operators 中 gcr.io 鏡像不可用問題
在安裝 Operator 的過程中，gitlab-runner-controller-manager?依賴鏡像 gcr.io/kubebuilder/kube-rbac-proxy:v0.8.0。由于此鏡像在國內無法正常拉取，會導致以下錯誤：
$ kubectl -n operators get pods -w
NAME ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?READY ? STATUS ? ? ? ? ? ? ?RESTARTS ? AGE
gitlab-runner-controller-manager-6d88d9d9d4-tdf5m ? 0/2 ? ? ContainerCreating ? 0 ? ? ? ? ?15s
gitlab-runner-controller-manager-6d88d9d9d4-tdf5m ? 1/2 ? ? ErrImagePull ? ? ? ?0 ? ? ? ? ?31s
gitlab-runner-controller-manager-6d88d9d9d4-tdf5m ? 1/2 ? ? ImagePullBackOff ? ?0 ? ? ? ? ?32s鏡像拉取失敗的詳細日志：
Warning ?Failed ? ? 45s ? ? ? ? ? ? ? ?kubelet ? ? ? ? ? ?Failed to pull image "gcr.io/kubebuilder/kube-rbac-proxy:v0.8.0": rpc error: code = DeadlineExceeded desc = failed to pull and unpack image "gcr.io/kubebuilder/kube-rbac-proxy:v0.8.0": failed to resolve reference "gcr.io/kubebuilder/kube-rbac-proxy:v0.8.0": failed to do request: Head "https://gcr.io/v2/kubebuilder/kube-rbac-proxy/manifests/v0.8.0": dial tcp 173.194.174.82:443: i/o timeout
Warning ?Failed ? ? 45s ? ? ? ? ? ? ? ?kubelet ? ? ? ? ? ?Error: ErrImagePull
Normal ? Pulled ? ? 45s ? ? ? ? ? ? ? ?kubelet ? ? ? ? ? ?Container image "registry.gitlab.com/gitlab-org/gl-openshift/gitlab-runner-operator/gitlab-runner-operator:v1.15.1" already present on machine
Normal ? Created ? ?45s ? ? ? ? ? ? ? ?kubelet ? ? ? ? ? ?Created container manager
Normal ? Started ? ?45s ? ? ? ? ? ? ? ?kubelet ? ? ? ? ? ?Started container manager
Normal ? BackOff ? ?44s (x2 over 45s) ?kubelet ? ? ? ? ? ?Back-off pulling image "gcr.io/kubebuilder/kube-rbac-proxy:v0.8.0"
Warning ?Failed ? ? 44s (x2 over 45s) ?kubelet ? ? ? ? ? ?Error: ImagePullBackOff
Normal ? Pulling ? ?29s (x2 over 75s) ?kubelet ? ? ? ? ? ?Pulling image "gcr.io/kubebuilder/kube-rbac-proxy:v0.8.0"提示無法拉取 gcr.io/kubebuilder/kube-rbac-proxy:v0.8.0。解決辦法為將上述鏡像替換為 kubesphere/kube-rbac-proxy:v0.8.0。替換完成后，pod 運行正常：
$ kubectl ?-n operators get pods
NAME ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?READY ? STATUS ? ?RESTARTS ? AGE
gitlab-runner-controller-manager-5b7f856fc5-fhk2f ? 2/2 ? ? Running ? 0 ? ? ? ? ?20h看這個鏡像應該是 kubesphere 制作的，在此感謝 kubesphere 團隊所做的貢獻。
pod 中執(zhí)行 docker 命令
上面測試的 Job 是現(xiàn)在在 kubernetes pod 中執(zhí)行 docker 命令來構建容器鏡像：
build:
? image: docker:latest
? stage: build
? tags:
? ? - jh
? services:
? ? - docker:20.10.7-dind
? script:
? ? - docker login -u "$CI_REGISTRY_USER" -p "$CI_REGISTRY_PASSWORD" $CI_REGISTRY
? ? - docker build -t $CI_REGISTRY_IMAGE:v1.0.0 .
? ? - docker push $CI_REGISTRY_IMAGE:v1.0.0這個過程中其實需要將宿主機的 docker.sock 文件掛在到 Runner pod 里面。這個時候就需要對于 Runner 的 config.toml 文件進行修改了。
使用 Operator 安裝的 Runner，其配置文件以 configmap 的形式存在，可以在 Runner 所在的 namespace 下面查看：
$ kubectl ?get cm
NAME ? ? ? ? ? ? ? ? ? ? ? ? ? ? DATA ? AGE
jh-gitlab-runner-runner-config ? 6 ? ? ?20h
查看上述 configmap 的內容，默認情況下對于 config.toml 文件的描述僅有一下內容：
? config.toml: |-
? ? concurrent = 10
? ? check_interval = 30
? ? log_level = "info"
? ? listen_address = '[::]:9252'在 Runner pod 中查看 `config.toml` 文件的配置：
[runners.kubernetes]
? ? host = ""
? ? bearer_token_overwrite_allowed = false
? ? image = "alpine"
? ? namespace = "default"
? ? namespace_overwrite_allowed = ""
? ? node_selector_overwrite_allowed = ""
? ? helper_image = "registry.gitlab.com/gitlab-org/ci-cd/gitlab-runner-ubi-images/gitlab-runner-helper-ocp:v16.0.1"
? ? poll_timeout = 180
? ? pod_labels_overwrite_allowed = ""
? ? service_account_overwrite_allowed = ""
? ? pod_annotations_overwrite_allowed = ""
? ? [runners.kubernetes.pod_security_context]
? ? [runners.kubernetes.init_permissions_container_security_context]
? ? [runners.kubernetes.build_container_security_context]
? ? [runners.kubernetes.helper_container_security_context]
? ? [runners.kubernetes.service_container_security_context]
? ? [runners.kubernetes.volumes]
? ? [runners.kubernetes.dns_config]可以看到在 `[runners.kubernetes.volumes]` 配置中并沒有掛載 docker.sock 文件。這時候就需要通過自定義 config.toml 文件的形式來完成文件的掛載了。整個自定義的過程可以查看GitLab config.toml 文件自定義官方文檔。
首先，創(chuàng)建一個 `custome-config.toml` 文件，寫入掛載文件的內容：
[[runners]]
? [runners.kubernetes]
? ? [runners.kubernetes.volumes]
? ? ? [[runners.kubernetes.volumes.host_path]]
? ? ? ? ? name = "docker"
? ? ? ? ? mount_path = "/var/run/docker.sock"
? ? ? ? ? host_path = "/var/run/docker.sock"然后，以文件的形式創(chuàng)建 configmap：
$ kubectl create configmap custom-config-toml --from-file config.toml=custom-config.toml
configmap/custom-config-toml created然后將上述新增的 configmap 添加到 Runner 的 CRD 中：
apiVersion: apps.gitlab.com/v1beta2
kind: Runner
metadata:
? name: jh-gitlab-runner
spec:
? gitlabUrl: https://jihulab.com
? buildImage: alpine
? token: jh-gitlab-runner-secret
? config: custom-config-toml以 config 為關鍵字將自定義的 configmap 內容引入。然后創(chuàng)建 Runner 即可。最后可以在 Runner pod 中看到如下內容：
? ? [runners.kubernetes.volumes]
? ? ? [[runners.kubernetes.volumes.host_path]]
? ? ? ? name = "docker"
? ? ? ? mount_path = "/var/run/docker.sock"
? ? ? ? host_path = "/var/run/docker.sock"說明宿主機的 docker.sock 文件被掛載到了 Runner pod 中，這樣就可以在 pod 中使用 docker 命令了。當然，這種方式存在一定的安全問題，建議使用 `kaniko` 進行鏡像構建。詳情可以查看過往的技術文章Kaniko- 以一種更安全可靠的方式在Kubernetes平臺上構建容器鏡像。文章來源：http://www.zghlxwxcb.cn/news/detail-810803.html
GitHub 無法鏈接
在安裝 Operator 的時候，因為會從 Operator GitHub 倉庫拉取資源直接安裝，這時候可能會遇到 GitHub 無法鏈接的問題（看你服務器在哪兒了）。這時候就可以在Operator Lifycycle Manager GitHub Repo上看一下內容，把無法拉取的文件內容想辦法搞到本地，然后在本地執(zhí)行即可。比如 install.sh、crds.yml、olm.yml文件。當然，前提是要看懂這些文件里面的內容，適當?shù)臅r候要做一些調整。當然，調整不會影響安裝使用。
?文章來源地址http://www.zghlxwxcb.cn/news/detail-810803.html
到了這里，關于k3s x GitLab Runner Operator，GitLab CI 云原生構建新體驗的文章就介紹完了。如果您還想了解更多內容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！
