1. 下載并安裝pycharm(專業(yè)版)
關(guān)于pycharm的安裝教程網(wǎng)上很多,考慮到版權(quán)問題我就不在這里詳細(xì)講述了。
注意如果要遠(yuǎn)程連接服務(wù)器必須使用pycharm專業(yè)版,可以免費試用30天,或者使用激活碼激活。
2. 租服務(wù)器教程
云服務(wù)器很多,這里選擇的是AutoDL平臺。
關(guān)于AutoDL的使用介紹可以通過下面鏈接學(xué)習(xí):
AutoDL幫助文檔
【AutoDL租用服務(wù)器在pycharm運行】視頻 00:00–02:29 處有講解
【Pycharm連接遠(yuǎn)程GPU服務(wù)器跑深度學(xué)習(xí)】視頻 00:00–01:48 處有講解
重點主要了解以下幾個概念或者操作步驟:
- 租用新實例的方式(實例指的就是一個遠(yuǎn)程主機)以及涉及到的相關(guān)環(huán)境配置概念
- 開關(guān)機和釋放實例(關(guān)閉網(wǎng)頁不會關(guān)掉主機,關(guān)機不會影響數(shù)據(jù)),以及無卡模式開機(不使用GPU,只使用一部分CPU)
- 如何查看主機的登陸指令和密碼
- 遷移實例和保存鏡像(注意遷移實例數(shù)據(jù)拷貝只能在同地區(qū)的實例之間)
上面的術(shù)語和概念可能不太準(zhǔn)確,主要是用于提示大概意義,自己清楚就行,也歡迎指正。
3. pycharm遠(yuǎn)程連接服務(wù)器
打開AutoDL,找到租用的實例并開機,提前復(fù)制登陸指令和密碼到記事本中便于后續(xù)使用。
登陸指令:
ssh -p 38076 root@region-1.autodl.com
登錄密碼:
123456
然后打開pycharm,F(xiàn)ile→Settings→Project:XXX(你自己的項目名字)→Python Interpreter,如下圖。
單擊右上方"Add Interpreter"添加新的解釋器,選擇"On SSH",如下圖所示。
在彈出的頁面中輸入遠(yuǎn)程主機的信息,如下圖。
信息在之前復(fù)制出來的登陸指令中查看,具體解釋如下:
ssh -p 38076 root@region-1.autodl.com
↑ 對應(yīng)
↓
ssh -p Port(端口號) Username(用戶名)@Host(主機)
然后點擊Next,輸入登陸密碼,如下圖。登陸密碼也是之前從實例中找到的登陸密碼,不是讓你自己設(shè)。
再次點擊Next,到下一步,如下圖:
"Interpreter"指的是遠(yuǎn)程主機的編譯環(huán)境,一般我使用默認(rèn)的,即不需要修改。 創(chuàng)建的實例中自帶了miniconda3,使用miniconda編譯,由于我之前沒有用過anaconda,所以我也不太清楚miniconda具體怎么解釋,如果和我一樣可以在后續(xù)使用的過程中自行體會,不是很難。
"Sync folders"指的是本機哪個文件目錄同步到遠(yuǎn)程主機哪個文件目錄。本機文件目錄默認(rèn)是整個項目文件,遠(yuǎn)程主機文件目錄默認(rèn)是新創(chuàng)建的隨機名稱的文件夾,保存在tmp文件夾內(nèi)。
勾選"Automatically upload project files to the server"(自動上傳項目到服務(wù)器),這樣在本地pycharm修改項目可以自動同步到遠(yuǎn)程主機,在遠(yuǎn)程主機運行。隨便打一個測試文件print “hello”,注意確認(rèn)編譯環(huán)境是不是遠(yuǎn)程主機,運行后控制臺輸出如圖,表示是在遠(yuǎn)程主機下運行的。
* pycharm進(jìn)行ssh時報錯
在遠(yuǎn)程連接的過程中出現(xiàn)報錯the authenticity of host can‘t be established
。具體錯誤是在哪里出現(xiàn)的我忘了,因為這篇是我后面補寫的。
本機 win+R輸入cmd,然后按照下面的格式輸入命令,替換遠(yuǎn)程主機對應(yīng)的信息。
ssh -o StrictHostKeyChecking=no xxx 用戶名@ip -p 端口號
例如:
ssh -o StrictHostKeyChecking=no root@24.54.78.56 -p 9095
然后關(guān)閉窗口重新進(jìn)行配置即可。
4. pycharm的工具欄中添加“遠(yuǎn)程主機”圖標(biāo)
如果不使用pycharm,想使用服務(wù)器,通常要在命令行中去選擇文件、編寫程序、運行程序等操作,沒有任何圖形界面,如果對命令行尤其是linux命令行不熟悉,非常不方便。本機目錄的文件可以通過遠(yuǎn)程連接的方式可視化在服務(wù)器上運行,不用使用命令行,這樣更方便。服務(wù)器上的文件結(jié)構(gòu)也可以像本機中一樣顯示出來,便于操作。
首先,打開pycharm的界面,點擊菜單中 tools選項菜單。
彈出tools的下拉菜單選中 deployment 選項。
彈出下一級菜單選中 browse remote host 選項。
打開了Remote Host工具顯示遠(yuǎn)程主機的文件結(jié)構(gòu),可以放在側(cè)邊欄中便于隨時查看。同步的目錄還會有熒光色高亮顯示。
5. 使用命令行對遠(yuǎn)程主機操作
雖然能夠使用Remote Host工具對遠(yuǎn)程主機中的文件進(jìn)行快捷的操作,但是在使用過程中仍然無法避免直接在服務(wù)器的一些操作,比如git clone
等,所以還是需要使用命令行。除了在AutoDL提供的命令行中進(jìn)行,也可以在本地pycharm中打開遠(yuǎn)程主機的終端。如下圖,點擊Local后的"?"可以添加終端,"??"可以選擇不同的終端。
6. 數(shù)據(jù)盤和系統(tǒng)盤的使用
AutoDL官網(wǎng)常見兩個概念:數(shù)據(jù)盤和系統(tǒng)盤。對于大的數(shù)據(jù),比如深度學(xué)習(xí)的訓(xùn)練數(shù)據(jù)集、訓(xùn)練過程中的緩存文件、tensorboard文件等,要放在數(shù)據(jù)盤中,否則會影響運行內(nèi)存。如何區(qū)分?jǐn)?shù)據(jù)盤和系統(tǒng)盤?不考慮物理結(jié)構(gòu),我們通過文件目錄去區(qū)分。在/root/autodl-tmp
下放置文件表示存儲在數(shù)據(jù)盤,此外其他所有文件都是在系統(tǒng)盤中。你可以把你的數(shù)據(jù)放在該目錄下。
如果你的代碼里生成的各種文件都是在系統(tǒng)盤進(jìn)行讀寫操作的,可以先在數(shù)據(jù)盤中創(chuàng)建好對應(yīng)名字的目錄,然后再在系統(tǒng)盤對應(yīng)位置建立軟連接即可。
7. tensorboard的使用
深度學(xué)習(xí)過程中使用了tensorboard,但是按照常規(guī)的方法無法調(diào)用,解決方法如下:
AutoDL實例中已內(nèi)置TensorBoard工具,您只需將tensorboard的event文件保存到/root/tf-logs/路徑
需要將event文件保存到指定文件目錄下,就可以直接通過實例里的TensorBoard查看。
【在個人瀏覽器中查看遠(yuǎn)程服務(wù)器tensorboard的方法】 在服務(wù)器終端輸入:
tensorboard --logdir logs --port 6006 --host xx.xx.xx.xx
- logdir:存放文件的地址
- port:服務(wù)器用于顯示tensorboard的端口,一般默認(rèn)6006(注意這個端口和你連服務(wù)器的時候用的端口不一樣)
- host:服務(wù)器ip
然后終端會給一個地址http://xx.xx.xx.xx:6006/
,用瀏覽器打開即可。
8. 想更換同步文件的路徑
pycharm菜單Tools→Deployment→Configuration→Mappings,在如下圖處更改
* 引包出錯
自己的python包,引包的時候出錯提示No module named 'lib.utils.cython_bbox'
。自己的python包在正常使用之前要先編譯,我還不會自己寫python包,是用別人的代碼的過程中出現(xiàn)的問題。
錯誤原因是由于兩個操作系統(tǒng)不同,在windows11編譯的文件,在遠(yuǎn)程服務(wù)器Linux系統(tǒng)可能無法正確使用,所以要在遠(yuǎn)程服務(wù)器的終端再編譯一遍。比如在我的項目中,我要進(jìn)入服務(wù)器的終端,運行setup.py build_ex
命令(具體過程略),不能在本機的終端運行,再將生成的文件同步到遠(yuǎn)程服務(wù)器。
* 修改代碼后不能自動同步文件
發(fā)現(xiàn)修改代碼后不能自動同步文件,原來是因為沒有設(shè)置默認(rèn)服務(wù)器??梢杂益I要修改的文件,點上傳到指定服務(wù)器,也可以直接切換默認(rèn)服務(wù)器。
方法一:
http://www.taodudu.cc/news/show-4895180.html
方法二:
https://www.likecs.com/show-203269134.html文章來源:http://www.zghlxwxcb.cn/news/detail-845737.html
end. 參考來源
Pycharm連接遠(yuǎn)程GPU服務(wù)器跑深度學(xué)習(xí)
AutoDL租用服務(wù)器在pycharm運行
pycharm連接到遠(yuǎn)程服務(wù)器(啰嗦版,有基礎(chǔ)的不用聽,適合正在到處搜索資料的…
Pycharm連接遠(yuǎn)程GPU服務(wù)器跑YOLOV6(訓(xùn)練)
pycharm 添加遠(yuǎn)程項目interpreter 報 the authenticity of host can‘t be established 解決方法
pycharm怎么瀏覽遠(yuǎn)端主機服務(wù)器代碼
AutoDL幫助文檔
Fast R-CNN訓(xùn)練自己的數(shù)據(jù)集時遇到的報錯及解決方案
服務(wù)器運行Tensorboard本地查看的方法文章來源地址http://www.zghlxwxcb.cn/news/detail-845737.html
歡迎指正
到了這里,關(guān)于pycharm遠(yuǎn)程連接AutoDL服務(wù)器的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!