一、問題背景

由于項目在打 Docker 包的時候，需要將前端的包也打到 Docker 容器中，所以將前端包和前端的 Dockerfile 文件都放在了后端的 Git 目錄下。

久而久之，由于前端包的更新迭代，Git 上面會一直保留前端包的歷史版本，所以整個后端的 .git 越來越大，截至目前已經(jīng)有 2.44G 了。每次有新的小伙伴加入 git 后都需要花很長時間來拉取代碼，苦不堪言，而且 Jenkins 上面新建項目的拉取也會超時。

二、問題復(fù)現(xiàn)

2.1 新建項目

在 GitLab 上新建一個項目 my-test。

我們可以看到，新建好的項目，默認(rèn)只有 20KB。

2.2 上傳大文件

執(zhí)行命令將項目克隆到本地：

git clone http://xxxx/xxx/xxx.git

此時，.git 文件夾大小為 30.7KB。

為了更加全面地測試，我們創(chuàng)建兩個分支，并且分別上傳文件。

分支、文件結(jié)構(gòu)對應(yīng)關(guān)系如下：

• dev-test1 分支

  | - pdf 文件夾

  ? | - test_1.pdf 文件，12.8MB

  ? | - test_2.pdf 文件，12.8MB

• dev-test2 分支

  | - pdf 文件夾

  ? | - test_1.pdf 文件，12.8MB

  ? | - test_2.pdf 文件，12.8MB

相關(guān)命令如下：

# 創(chuàng)建dev-test1分支
git checkout -b dev-test1
git add -A .
git commit -m "update test1"
git push origin dev-test1

# 創(chuàng)建dev-test2分支
git checkout -b dev-test2
git add -A .
git commit -m "update test2"
git push origin dev-test2

2.3 上傳結(jié)果

將大文件上傳到 GitLab 后，倉庫的大小如下：

• .git：11.2MB

• GitLab：11.3MB

三、解決方案

注意：操作前要保證是最新版本。

3.1 GitLab備份與還原

1）備份

在操作之前，我們要先備份 GitbLab 中的項目。最簡單的方式就是直接將項目導(dǎo)出來。

在 GitLab 上打開項目，進(jìn)入菜單 Settings -> General -> Advanced，點(diǎn)擊 Expand 打開折疊。

點(diǎn)擊 Export project。

可以看到提示，這個導(dǎo)出是一個異步的操作，當(dāng)導(dǎo)出完畢之后會將通知發(fā)送到郵箱。

郵件中會有一個下載鏈接，點(diǎn)擊鏈接下載，保存24小時。

下載后文件如下，文件名格式為：日期_時分秒_用戶名_項目名.tar.gz

2）還原

點(diǎn)擊首頁的 New project。

選擇 Import project。

選擇 GitLab export。

輸入項目名稱，選擇我們之前導(dǎo)出的 .tar.gz 文件，點(diǎn)擊 Import project。

還原完畢，分支和大小都在。

3.2 刪除方式一：git filter-repo 命令【推薦】

• git-filter-repo 官網(wǎng)： https://github.com/newren/git-filter-repo
• python 官網(wǎng)： https://www.python.org/

注意：git-filter-repo 工具需要依賴 Git 和 Python。

1）安裝

# 安裝（pip是Python自帶的安裝工具）
pip install git-filter-repo
# 查看版本
git-filter-repo --version

執(zhí)行結(jié)果：

注意：git-filter-repo 需要在一個剛剛 clone 下來的倉庫中進(jìn)行操作，否則會操作失敗。

Aborting: Refusing to destructively overwrite repo history since
this does not look like a fresh clone.
(expected at most one entry in the reflog for HEAD)
Please operate on a fresh clone instead. If you want to proceed
anyway, use --force.

2）刪除本地倉庫文件

git clone 到本地后立即執(zhí)行如下命令：

（不要做切換分支等操作，否則會報錯，刪除重新克隆才行。）

# 模糊匹配，刪除所有pdf文件（會同時刪除pdf文件夾）
git filter-repo --path-glob '*.pdf' --invert-paths

# 補(bǔ)充：精確匹配，僅刪除pdf/test_1.pdf
git filter-repo --path-glob 'pdf/test_1.pdf' --invert-paths

執(zhí)行結(jié)果如下：

git filter-repo 命令本身是用來將處理后的本地倉庫重新推送到新的遠(yuǎn)程倉庫用的，所以執(zhí)行命令之后，查看 .git/config 配置文件，里面遠(yuǎn)程倉庫的內(nèi)容都被清空了：

執(zhí)行之后，查看本地 .git 文件夾大小，從 11.2MB 直降至 32.8KB。

3）重新關(guān)聯(lián)遠(yuǎn)程倉庫

重新關(guān)聯(lián)遠(yuǎn)程倉庫的命令如下：

git remote add origin https://git.xxx.cn/acgkaka/my-test.git

4）刪除遠(yuǎn)程倉庫文件

執(zhí)行如下命令，將本地倉庫的改動強(qiáng)制推送到遠(yuǎn)程倉庫即可。

git push --force origin --all

執(zhí)行結(jié)果如下：

此時，GitLab 的遠(yuǎn)程倉庫大小還是 11.2 MB，并無效果，別擔(dān)心，還有最后一步操作。

4）clean up 清理遠(yuǎn)程倉庫

做完上面的操作之后，等待半小時，是的，等待30分鐘，因為 GitLab 不會清理半小時內(nèi)提交的文件。

在 GitLab 上打開項目，進(jìn)入菜單 Settings -> Repository -> Repository cleanup，點(diǎn)擊 Expand 打開折疊。

在使用 clean up 時，需要提交一個文件，這個文件就是文件根目錄下的 .git/filter-repo/commit-map。

可以看到提示，這個導(dǎo)出是一個異步的操作，當(dāng)cleanup完畢之后會將通知發(fā)送到郵箱。

郵件中會說明 cleanup 后的倉庫大小，為 0.1MB。

再去 GitLab 查看遠(yuǎn)程倉庫大小，從 11.3MB 直降至 51KB，瘦身成功。

（經(jīng)驗證，這種方式刪除掉的歷史文件，即使有其他成員的本地倉庫有未提交的版本，需要復(fù)制出來，刪除本地倉庫重新克隆后，再粘貼提交。）

3.3 刪除方式二：git branch-filter 命令【不推薦】

注意： 目前經(jīng)過嘗試，發(fā)現(xiàn) git branch-filter 雖然可以刪除分支中的文件歷史、提交記錄，但是并不會減少 GitLab 中遠(yuǎn)程倉庫的大小。

1）刪除本地倉庫文件

可以直接操作刪除所有分支的文件，但是要注意必須保證所有分支都是最新代碼才行。

也可以切換到具體分支，執(zhí)行 git pull 拉取最新代碼后，再進(jìn)行刪除，只要去除后面的 -- --all即可。

# 模糊匹配，刪除所有pdf文件（會同時刪除pdf文件夾）
git filter-branch --force --index-filter "git rm --cached --ignore-unmatch '*.pdf'" --prune-empty --tag-name-filter cat -- --all

# 補(bǔ)充：精確匹配，僅刪除pdf/test_1.pdf
git filter-branch --force --index-filter "git rm --cached --ignore-unmatch 'pdf/test_1.pdf'" --prune-empty --tag-name-filter cat -- --all

執(zhí)行結(jié)果如下，可以看到 dev-test1 和 dev-test2 分支被重寫了。

2）刪除遠(yuǎn)程倉庫文件

執(zhí)行如下命令，將本地倉庫的改動強(qiáng)制推送到遠(yuǎn)程倉庫即可。

# 推送本地所有分支到遠(yuǎn)程
git push --force --all

執(zhí)行結(jié)果如下，可以看到 dev-test1 和 dev-test2 分支被強(qiáng)制更新了。

我們可以去 GitLab 上面看下提交記錄，"如果之前的提交只涉及被刪除文件的話，對應(yīng)提交記錄就會被清空，如果提交中除了被刪除文件之外還包含其他文件，那么提交記錄和其他文件都會被保留，不受影響。

3）重新 repack 遠(yuǎn)程分支到本地

執(zhí)行如下命令，刪除 refs/original 文件夾，并重新更新遠(yuǎn)程倉庫到本地。

git for-each-ref --format='delete %(refname)' refs/original | git update-ref --stdin
git reflog expire --expire=now --all
git gc --prune=now

執(zhí)行之后，查看本地 .git 文件夾大小，從 11.2MB 直降至 32KB。

再次聲明，這種方式雖然可以刪除分支中的文件歷史、提交記錄，但是并不會減少 GitLab 中遠(yuǎn)程倉庫的大小。遠(yuǎn)程倉庫大小依然為 11.3MB。（有大佬知道后面怎么處理的，歡迎評論補(bǔ)充）

整理完畢，完結(jié)撒花~ ??

參考地址：

1.使用 git-filter-repo 清理 git 歷史記錄，https://nyakku.moe/posts/2020/06/12/use-git-filter-repo-clean-git-history.html

2.利用git-filter-repo無縫遷移git項目，https://zhuanlan.zhihu.com/p/465078705

3.git: 如何減少.git文件的大小？https://blog.csdn.net/LOI_QER/article/details/107911115

4…git文件過大，github倉庫瘦身，https://blog.csdn.net/luchengtao11/article/details/82531044

5.從Git倉庫（GitLab）中徹底去除大文件，https://zhuanlan.zhihu.com/p/589903338

6.git 倉庫越來越大，如何清理？https://juejin.cn/post/7254009710139146299文章來源地址http://www.zghlxwxcb.cn/news/detail-741055.html

到了這里，關(guān)于Git（七）.git 文件夾瘦身，GitLab 永久刪除文件的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！