使用集群服務(wù)器的時候，尤其是當(dāng)服務(wù)器有多個節(jié)點(diǎn)時有些復(fù)雜，連接集群我們一般用xshell，傳輸文件我們一般使用Xftp,一般對于單個節(jié)點(diǎn)服務(wù)器來說是方便的，使用Xftp還可以可視化本地和服務(wù)器端的文件，但當(dāng)有多個節(jié)點(diǎn)時，這就不適用了，他不能選擇節(jié)點(diǎn)，有局限，連接不了，Pycharm也連接不了集群。
對于深度學(xué)習(xí)，煉丹我們最重要的丹，動輒十幾個G，幾十G，甚至幾百G都不再話下，因此面對這么龐大的數(shù)據(jù)，我們怎么管理傳輸呢，有些幸運(yùn)好的，有官方集成的鏈接，我們可以用wget等命令來下載或者像pytorch等框架，內(nèi)在集成了一些數(shù)據(jù)集可以有現(xiàn)成的命令，在模型中加載比較方便，一般來說，我們的數(shù)據(jù)集很有可能是來自谷歌云盤，網(wǎng)站，或者需要向作者申請下載渠道，還有一些是自制的數(shù)據(jù)集，這些我們一般都是先下載至本地，如果本地自己的服務(wù)器容納得下，配置夠我們的模型運(yùn)行是最方便的，可視化調(diào)試也比較方便，當(dāng)你想跑一些大模型的時候，我們的計算資源遠(yuǎn)遠(yuǎn)不夠的時候，我們需要托管更強(qiáng)大的服務(wù)器，多卡GPU最好，這個時候我們就面臨傳輸文件的難題，需要網(wǎng)絡(luò)穩(wěn)定，服務(wù)器不突然掛載，網(wǎng)速快，面對大型數(shù)據(jù)集的時候就有些頭疼，要上傳很久。其實(shí)有時久也不是最頭疼的問題，主要是斷點(diǎn)，報錯亂碼，超級頭疼。
比如用集群時，用rz命令上傳文件，他會報錯文件上傳大小不能超過4G，麻了，這個時候就要分批次上傳，關(guān)鍵這個時候網(wǎng)絡(luò)不穩(wěn)定，會報編碼錯誤，使用 rz -bey命令也不頂用，就當(dāng)我一籌莫展的時候，咨詢師兄后，師兄和我說可以用阿里云盤上傳，很快，也沒有文件限制，給我發(fā)了一個教程鏈接：Linux環(huán)境下使用阿里云盤
真香，但剛開始看教程的時候還是一頭霧水，經(jīng)過一天摸索，終于搞定了，我的50G數(shù)據(jù)集也順利上傳成功，只花了下載結(jié)束, 時間: 1小時3分23秒, 數(shù)據(jù)總量: 49.89GB，真開心。經(jīng)過試煉，成功經(jīng)驗(yàn)我覺得很有必要記錄一下。
阿里云盤
官網(wǎng)：https://www.aliyundrive.com/
默認(rèn)新用戶的云盤容量是100G
?
aliyunpan優(yōu)點(diǎn)
- 多平臺支持, 支持 Windows, macOS, linux(x86/x64/arm), android, iOS 等
- 阿里云盤多用戶支持
- 支持文件網(wǎng)盤，相冊網(wǎng)盤無縫切換
- 下載網(wǎng)盤內(nèi)文件, 支持多個文件或目錄下載, 支持?jǐn)帱c(diǎn)續(xù)傳和單文件并行下載。支持軟鏈接(符號鏈接)文件。
- 上傳本地文件, 支持多個文件或目錄上傳，支持排除指定文件夾/文件（正則表達(dá)式）功能。支持軟鏈接(符號鏈接)文件。
- 同步備份功能支持備份本地文件到云盤，備份云盤文件到本地，雙向同步備份保持本地文件和網(wǎng)盤文件同步。常用于嵌入式或者NAS等設(shè)備，支持docker鏡像部署。
- 命令和文件路徑輸入支持Tab鍵自動補(bǔ)全
- 支持阿里云ECS環(huán)境下使用內(nèi)網(wǎng)鏈接上傳/下載，速度更快(只支持阿里經(jīng)典網(wǎng)絡(luò)，最高可達(dá)100MB/s)，還可以節(jié)省公網(wǎng)帶寬流量(配置transfer_url_type=2即可)
- 支持webdav文件服務(wù)，可以將阿里云盤當(dāng)做webdav文件網(wǎng)盤掛載到Windows, macOS, linux的磁盤中進(jìn)行使用。webdav部署支持docker鏡像，鏡像只有不到10MB非常小巧。
- 支持JavaScript插件，你可以按照自己的需要定制上傳/下載中關(guān)鍵步驟的行為，最大程度滿足自己的個性化需求
在linux中下載aliyunpan
官方版本說明
官方教程github:https://github.com/tickstep/aliyunpan
● 要下載與服務(wù)器系統(tǒng)適應(yīng)的安裝包 ，使用uname -a或者uname -r查看系統(tǒng)版本
安裝包發(fā)布頁：https://github.com/tickstep/aliyunpan/releases
版本說明：不同的標(biāo)簽對應(yīng)不同架構(gòu)的系統(tǒng)
- arm / armv5 / armv7 : 適用32位ARM系統(tǒng)
- arm64 : 適用64位ARM系統(tǒng)
- 386 / x86 : 適用32系統(tǒng)，包括Intel和AMD的CPU系統(tǒng)
- amd64 / x64 : 適用64位系統(tǒng)，包括Intel和AMD的CPU系統(tǒng)
- mips : 適用MIPS指令集的CPU，例如國產(chǎn)龍芯CPU
- macOS amd64適用Intel CPU的機(jī)器，macOS arm64目前主要是適用蘋果M1芯片的機(jī)器
- iOS arm64適用iPhone手機(jī)，并且必須是越獄的手機(jī)才能正常運(yùn)行
下載安裝
使用wget命令下載
示例：
#先進(jìn)入想將安裝包安裝在哪里的目錄下，然后執(zhí)行以下命令進(jìn)行下載
wget https://github.com/tickstep/aliyunpan/releases/download/v0.2.2/aliyunpan-v0.2.2-linux-amd64.zip
# download后面接的就是版本號，然后再接發(fā)布頁的安裝包名
unzip aliyunpan-v0.2.2-linux-amd64.zip #解壓安裝包
cd aliyunpan-v0.2.2-linux-amd64 #進(jìn)入安裝包
./aliyunpan #啟動aliyunpan
login #登錄賬號
登錄
-
進(jìn)入下載目錄cd download_path
-
./aliyunpan啟動進(jìn)入交互命令行
-
login
-
輸入RefreshToken:打開 阿里云盤網(wǎng)頁 并進(jìn)行登錄，然后F12按鍵打開瀏覽器調(diào)試菜單，在應(yīng)用欄下的
Local Storage的token區(qū)
● 或者直接在控制臺輸入以下命令獲取
# 控制臺輸入
JSON.parse(localStorage.getItem("token")).refresh_token
- 輸入RefreshToken字符串，即可登錄成功
config文件、下載路徑配置設(shè)置
- config文件，里面會保存config的json文件和歷史記錄，可以指定程序配置文件的存儲路徑，如果沒有指定，程序會使用默認(rèn)的目錄。
export ALIYUNPAN_CONFIG_DIR=/home/tickstep/tools/aliyunpan/config #可以隨意指定存放地址
- 可以在aliyunpan交互指令界面指定將從云盤下載的文件存放在哪個目錄下
config set -savedir save_path #save_path是你服務(wù)器想要將文件存放的地址路徑
常用命令
命令匯總大全：https://github.com/tickstep/aliyunpan/blob/main/docs/manual.md
輸入help
aliyunpan > help
...
阿里云盤:
album, abm 相簿(Beta)
cd 切換工作目錄
download, d 下載文件/目錄
ls, l, ll 列出目錄
mkdir 創(chuàng)建目錄
mv 移動文件/目錄
pwd 輸出工作目錄
recycle 回收站
rename 重命名文件
rm 刪除文件/目錄
share 分享文件/目錄
sync 同步備份功能
upload, u 上傳文件/目錄
webdav 在線網(wǎng)盤服務(wù)
...
查看云盤文件列表
aliyunpan:/ tickstep$ ls
# 文件大小 修改日期 文件(目錄)
0 - 2021-11-03 13:32:22 臨時/
1 - 2021-07-10 07:44:34 好友的分享/
2 - 2021-07-09 22:11:22 我的項(xiàng)目/
3 - 2021-07-09 22:10:37 我的游戲/
4 - 2021-07-09 22:10:10 我的文檔/
5 349.86KB 2021-06-06 11:46:02 使用統(tǒng)計.xls
6 503.57KB 2021-06-06 11:46:02 IMG_0098.JPG
7 72.20KB 2021-06-06 11:46:02 IMG_0103.PNG
總: 3.20MB 文件總數(shù): 3, 目錄總數(shù): 7
----
下載文件
下載支持兩種鏈接類型：1-默認(rèn)類型 2-阿里ECS環(huán)境類型
在普通網(wǎng)絡(luò)下，下載速度可以達(dá)到10MB/s，在阿里ECS（必須是"經(jīng)典網(wǎng)絡(luò)"類型的機(jī)器）環(huán)境下，下載速度單文件可以輕松達(dá)到20MB/s，多文件可以達(dá)到100MB/s文章來源：http://www.zghlxwxcb.cn/news/detail-439520.html
aliyunpan:/ tickstep$ download IMG_0106.JPG
[0] 當(dāng)前文件下載最大并發(fā)量為: 5, 下載緩存為: 64.00KB
[1] 加入下載隊列: /IMG_0106.JPG
[1] ----
文件ID: 60bc44f855814e19692a4958b4a8823a1a06e5de
文件名: IMG_0106.JPG
文件類型: 文件
文件路徑: /IMG_0106.JPG
[1] 準(zhǔn)備下載: /IMG_0106.JPG
[1] 將會下載到路徑: /root/Downloads/4d001d48564f43b..62874f04bbe6/IMG_0106.JPG
[1] 下載開始
[1] ↓ 704.00KB/1.48MB 0B/s(1.69MB/s) in 1.88s, left - ............
[1] 下載完成, 保存位置: /root/Downloads/4d001d48564f43b..62874f04bbe6/IMG_0106.JPG
[1] 檢驗(yàn)文件有效性成功: /root/Downloads/4d001d48564f43b..62874f04bbe6/IMG_0106.JPG
下載結(jié)束, 時間: 4秒, 數(shù)據(jù)總量: 1.48MB
aliyunpan:/ tickstep$
上傳文件
上傳支持兩種鏈接類型：1-默認(rèn)類型 2-阿里ECS環(huán)境類型
在阿里ECS（必須是"經(jīng)典網(wǎng)絡(luò)"類型的機(jī)器）環(huán)境下，上傳速度單文件可以輕松達(dá)到30MB/s，多文件可以達(dá)到100MB/s文章來源地址http://www.zghlxwxcb.cn/news/detail-439520.html
aliyunpan:/ tickstep$ upload /Users/tickstep/Downloads/apt.zip /tmp
[0] 當(dāng)前文件上傳最大并發(fā)量為: 10, 上傳分片大小為: 10.00MB
[1] 加入上傳隊列: /Users/tickstep/Downloads/apt.zip
[1] 2022-08-13 13:41:22 準(zhǔn)備上傳: /Users/tickstep/Downloads/apt.zip => /tmp/apt.zip
[1] 2022-08-13 13:41:22 正在檢測和創(chuàng)建云盤文件夾: /tmp
[1] 2022-08-13 13:41:22 正在計算文件SHA1: /Users/tickstep/Downloads/apt.zip
[1] 2022-08-13 13:41:22 檢測秒傳中, 請稍候...
[1] 2022-08-13 13:41:22 秒傳失敗，開始正常上傳文件
[1] ↑ 21.00MB/21.00MB 702.53KB/s(702.70KB/s) in 15s ............
[1] 2022-08-13 13:41:22 上傳文件成功, 保存到網(wǎng)盤路徑: /tmp/apt.zip
[1] 2022-08-13 13:41:22 文件上傳結(jié)果： 成功！ 耗時 18秒
上傳結(jié)束, 時間: 18秒, 數(shù)據(jù)總量: 21.00MB
參考資料
- Linux環(huán)境下使用阿里云盤
到了這里，關(guān)于在Linux系統(tǒng)（服務(wù)器）使用阿里云盤服務(wù)快速上傳下載文件的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
