開心一刻

　　一天夜里，侄女跟我哥聊天

　　侄女一臉期待的看著我哥：爸爸，你說(shuō)媽媽和奶奶誰(shuí)漂亮??？

　　我哥不慌不忙的拿起一粒瓜子，輕聲說(shuō)道：為啥沒(méi)有你??？

　　侄女笑容漸起，似乎得到了她想要的回答，仍繼續(xù)問(wèn)道：那媽媽和奶奶還有我，誰(shuí)漂亮？

　　我哥瞄了一眼侄女，又拿起一粒瓜子堅(jiān)定的說(shuō)到：奶奶！

　　侄女笑臉?biāo)查g一拉，死死地盯著我哥，幽怨地問(wèn)道：那里為啥要加我呀？

　　我哥再次瞄了一眼侄女，繼續(xù)剝著瓜子說(shuō)到：我不想讓你媽媽墊底！

　　侄女斜眼瞟向我哥，臉上寫滿了憤怒

　　一旁的我，肚子笑疼了！

背景需求

　　背景

　　項(xiàng)目基于?SpringBoot?，采用?B/S?模式

　　主要功能是生成文件，然后將文件上傳都?OSS?

　　目前通過(guò)瀏覽器可以下載少量文件，但一旦文件過(guò)多或文件過(guò)大（總體來(lái)說(shuō)就是過(guò)大），瀏覽器下載會(huì)很慢，極其容易超時(shí)而失敗

　　需求

　　而最近頻繁接到產(chǎn)品那邊的反饋，說(shuō)是要下載最近幾個(gè)月，甚至兩三年的某些文件

　　總之就是要支持大批量文件的下載

大批量下載實(shí)現(xiàn)

　　既然業(yè)務(wù)部門發(fā)話了，作為支撐部門，必須得全力以赴，那就整唄

　　阿里云oss提供了三種下載文件的方式：簡(jiǎn)單下載、斷點(diǎn)續(xù)傳下載、授權(quán)給第三方下載

　　我們只看簡(jiǎn)單下載，其他兩種方式大家自行去了解

　　簡(jiǎn)單下載方式也分好幾種，我們一個(gè)個(gè)來(lái)看

　　OSS控制臺(tái)

　　OSS控制臺(tái)指的就是

　　然后按照如下步驟進(jìn)行文件下載

　　但有2點(diǎn)需要注意

　　1、不支持通過(guò)OSS控制臺(tái)下載文件夾（包含子目錄）

　　　　如果需要下載文件夾（包含子目錄），您可以使用ossbrowser、ossutil、SDK、API等方式進(jìn)行下載

　　2、通過(guò)OSS控制臺(tái)可一次批量下載最多100個(gè)文件

　　　　最多只能下載100個(gè)文件，多不了一點(diǎn)

　　很顯然這種方式不合適

　　1、文件上傳到OSS的路徑規(guī)則導(dǎo)致每個(gè)文件都在不同的文件夾下，結(jié)果就是只能一個(gè)一個(gè)文件下載

　　　　效率太低，誰(shuí)操作誰(shuí)得罵娘

　　2、批量下載的文件數(shù)據(jù)很容易超過(guò)100

　　圖形化管理工具ossbrowser

　　關(guān)于?ossbrowser?不做過(guò)多介紹，大家直接查閱官網(wǎng)即可：圖形化管理工具ossbrowser

　　簡(jiǎn)單點(diǎn)來(lái)說(shuō)，?ossbrowser?就是?OSS控制臺(tái)?的 C 端

　　所以也不合適，不合適點(diǎn)和?OSS控制臺(tái)?方式一樣

　　阿里云SDK

　　目前已實(shí)現(xiàn)的少量文件的下載，就是通過(guò)此種方式實(shí)現(xiàn)的

　　產(chǎn)品通過(guò)瀏覽器請(qǐng)求后端，后端通過(guò)?阿里云SDK?將文件下載到后端服務(wù)器，下載完成之后進(jìn)行打包，最后將打包文件以流的方式通過(guò)瀏覽器保存到產(chǎn)品電腦的指定文件夾下

　　一旦打包文件很大，通過(guò)瀏覽器就很容易超時(shí)失敗

　　那就不通過(guò)瀏覽器唄，后端將打包文件上傳到指定的FTP服務(wù)器的指定目錄下，然后產(chǎn)品去FTP服務(wù)器上的指定目錄下拿打包文件

　　看似可行，但還是有一些不容忽視的不足

　　1、需要一臺(tái)FTP服務(wù)器，而且需要對(duì)這臺(tái)FTP服務(wù)器進(jìn)行維護(hù)

　　2、產(chǎn)品需要從FTP拿打包文件，如果打包文件很大，這個(gè)復(fù)制過(guò)程也很費(fèi)時(shí)

　　所以這種方式也不是很合適

　　命令行工具ossutil

　　關(guān)于?ossutil?，命令行工具ossutil已經(jīng)講的很詳細(xì)了

　　使用?ossutil?之前，需要先配置它，大家按照配置ossutil配置即可

　　需要強(qiáng)調(diào)的一點(diǎn)是，如果僅僅只是下載，那么配置的時(shí)候用?bucket?的只讀賬號(hào)即可

　　本次下載只用到了ls、cp兩個(gè)命令，我們來(lái)看下這兩個(gè)命令的使用

　　?ossutil64 ls oss://qsl-yzb-test/UserData/9088/20230920?

　　?ossutil64 cp oss://qsl-yzb-test/UserData/9088/20230920/Snipaste_2023-09-25_16-24-39.png D:\qsl-yzb-test\20230920\?

　　我們發(fā)現(xiàn)，文件已經(jīng)下載到?D:\qsl-yzb-test\20230920?目錄下

　　感覺(jué)跟需求很吻合，如果能從單個(gè)下載改成批量下載，那么需求就實(shí)現(xiàn)了

　　一次輸入一個(gè)?CMD?命令，顯然是不行的，需要以?bat?腳本的方式實(shí)現(xiàn)多命令的執(zhí)行，完成文件的下載

　　假設(shè)我們要下載?1011、9088、9999?這三個(gè)資源202308、202309兩個(gè)月的文件，?bat?腳本該如何寫？

　　我們用兩個(gè)配置文件來(lái)配置資源和月份，類似如下

　　?bat?的?for?很強(qiáng)大，尤其以?for /f?最強(qiáng)，格式如下

　　分別對(duì)應(yīng)文件、字符串、命令

　　我們先用?for /f?來(lái)讀取兩個(gè)配置文件

　　執(zhí)行結(jié)果如下

　　有 2 點(diǎn)需要注意

　　1、?cmd?下，變量用一個(gè) % 來(lái)表示，比如 %r，示例：

　　? ? 但是批處理（bat腳本）時(shí)，變量需要 %% 來(lái)表示，比如 %%r

　　2、for命令的形式變量只能是26個(gè)字母中的任意一個(gè)，同時(shí)區(qū)分大小寫

　　配置文件的解析已經(jīng)實(shí)現(xiàn)，接下來(lái)需要結(jié)合?ossutil?的命令來(lái)實(shí)現(xiàn)文件的下載了

　　一步一步來(lái)，我們先結(jié)合?ossutil?的 ls 命令獲取文件列表

　　?ossutil64 ls oss://qsl-yzb-test/UserData/9999/202309?結(jié)果如下

　　我們關(guān)注的其實(shí)只是?ObjectName?那一列，而?for /f?正好能實(shí)現(xiàn)

　　?for /f "tokens=8 delims= " %p in ('ossutil64 ls oss://qsl-yzb-test/UserData/9999/202309') do echo %p?

　　效果如下

　　?delims=符號(hào)列表?：以指定符號(hào)列表對(duì)字符串進(jìn)行切割，如果沒(méi)有指定?delims?，那么默認(rèn)則以空格鍵或跳格鍵作為分隔符號(hào)

　　　　?for /f "delims= "?和?for /f?是一樣的效果

　　?tokens=n?：定點(diǎn)提取第 n 個(gè)字符串

　　　　?tokens?后可以接多個(gè)數(shù)字，以逗號(hào)隔開，例如：?tokens=2,5,8?

　　?delims?進(jìn)行切割，?tokens?獲取切割后指定位置的字符串

　　放進(jìn)?bat?腳本

　　執(zhí)行結(jié)果如下

　　我們需要的是文件列表，不需要關(guān)注目錄，那如何過(guò)濾掉目錄了？

　　?ossutil?的 ls 命令正好有?--include?參數(shù)能實(shí)現(xiàn)過(guò)濾

　　執(zhí)行結(jié)果如下

　　oss文件路徑已經(jīng)獲取到，接下來(lái)就是結(jié)合 cp 命令進(jìn)行下載了

　　執(zhí)行后，?D:\qsl-yzb-test?目錄下文件如下

　　離成功還差一步之遙，需要將文件按日期進(jìn)行劃分，比如?20230921?這天的所有文件全部放到?20230921?這個(gè)目錄下

　　oss文件路徑是有規(guī)則的，具體文件名的上一級(jí)目錄就是日期目錄，所以我們可以從oss路徑中截取日期目錄，?for /f?正好能實(shí)現(xiàn)

　　執(zhí)行后，?D:\qsl-yzb-test?目錄內(nèi)容如下

　　自此，算是大功告成了

　　但如果能手動(dòng)指定下載目錄就好了（下載目錄作為 bat 參數(shù)）

　　這個(gè)很簡(jiǎn)單，直接上代碼

　　完整腳本代碼

@ECHO OFF
rem 字符編碼設(shè)置成UTF-8編碼，防止中文亂碼
chcp 65001

rem %1 下載目錄
if "%1"=="" (
    echo "請(qǐng)指定下載目錄，類似 D:\qsl-yzb-test"
    goto :eof
)

for /f %%r in (resource_config.txt) do (
    for /f %%m in (month_config.txt) do (
        for /f "tokens=8 delims= " %%p in ('ossutil64 ls oss://qsl-yzb-test/UserData/%%r/%%m --include *.*') do (
            for /f "tokens=5 delims=/" %%d in ("%%p") do (
                rem -f表示同名覆蓋
                ossutil64 cp %%p %1\%%d\ -f
            )
        )
    )
)

View Code

　　REST API

　　自定義要求較高的情況可以考慮這種方式，感興趣的可以去看官方說(shuō)明

總結(jié)

　　1、?ossutil?提供了很多命令，實(shí)現(xiàn)需求之前可以先翻一翻官方文檔說(shuō)明

　　2、?cmd?和?bat?的變量命名是有區(qū)別的，大家一定要注意

　　3、?for?很強(qiáng)大，?for /f?強(qiáng)大的最突出

參考

　　批處理for語(yǔ)句從入門到精通文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-745212.html

到了這里，關(guān)于記一次 OSS 大批量文件下載的實(shí)現(xiàn) → bat腳本不好玩！的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！