最近在做AIGC的項目，不過是與圖片相關(guān)的，現(xiàn)在的模型效果可比前幾年圖片替換效果好多了。之前嘗試過用 faceswap 工具來進(jìn)行人臉替換的，具體可以參看下我之前的這篇文章：https://blog.csdn.net/sinat_26918145/article/details/79591717
?文章來源地址http://www.zghlxwxcb.cn/news/detail-459682.html
現(xiàn)代的模型對于圖生圖的支持效果已經(jīng)非常好了，相信對于美術(shù)行業(yè)，這是一場影響很深遠(yuǎn)的變革。也許我們正站在一個新的時代交叉路口，可能多年后回憶起當(dāng)下的一瞬間，才后知后覺我們經(jīng)歷了一段什么樣的時代開端。
好了，回到主題，這一篇文章主要是介紹如何使用音頻模型，轉(zhuǎn)換成你想要的歌手聲音，得益于AI孫燕姿的火爆全網(wǎng)，讓我也迫切想嘗試一下 AIsong 歌曲轉(zhuǎn)換。
目前來說比較火的開源 SVC 主要有以下幾種：
- rvc: https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI
- diff-svc: https://github.com/prophesier/diff-svc
- so-vits-svc: https://github.com/svc-develop-team/so-vits-svc
語音轉(zhuǎn)換的目標(biāo)是將源語音轉(zhuǎn)換為目標(biāo)語音，保持內(nèi)容不變。提出了自監(jiān)督表示學(xué)習(xí)用于語音轉(zhuǎn)換
離散內(nèi)容編碼表示會丟失一些語言內(nèi)容，導(dǎo)致發(fā)音不準(zhǔn)確。為此，提出了通過預(yù)測離散單位分布學(xué)習(xí)的軟語音單位。通過建模，軟語音單位捕捉更多的內(nèi)容，提高了轉(zhuǎn)換語音的效果。
?
在語音轉(zhuǎn)換系統(tǒng)架構(gòu)中，離散內(nèi)容編碼主要包含兩個部分的實(shí)現(xiàn)：
- 離散內(nèi)容編碼器：將音頻特征聚類，生成一系列離散的語音單位序列
- 軟內(nèi)容編碼器：被訓(xùn)練用于預(yù)測離散語音單位
除此之外Acoustic model將離散/軟語音單位轉(zhuǎn)換為目標(biāo)聲譜圖。 vocoder語音合成器將聲譜圖轉(zhuǎn)換為音頻波形。
廢話不多說，前期鋪墊了這么多，我們下面直接開始操作~
?
一、前期準(zhǔn)備
剛開始模型訓(xùn)練前，我們需要搜集大量的目標(biāo)人物的音頻素材，如果是需要以你自己聲音為基礎(chǔ)的轉(zhuǎn)換模型，則需要錄制你自己的聲音。這里的素材多少會直接影響到你模型訓(xùn)練的質(zhì)量，一般建議提供 100 分鐘以上的人聲素材。
如果不是自己的聲音，建議可以去網(wǎng)上搜集需要的人聲音頻。我這邊使用的是阿B上的視頻素材，這里可以使用這里推薦的工具（傳送門），直接下載對應(yīng)的視頻or音頻，非常方便~
這里我下載了差不多100分鐘的音頻
準(zhǔn)備好音頻素材后，需要對音頻文件進(jìn)行人聲和背景音的分離，因為背景音對于模型的訓(xùn)練有干擾，單純的人聲可以讓模型的聲音效果和目標(biāo)更擬合。這里使用到的工具是?demucs
安裝：
pip install -U demucs
分離人聲和背景音
demucs "音頻文件地址" -o "輸出文件目錄" -n mdx_extra --two-stems=vocals
生成后輸出文件目錄有兩個文件，一個是人聲，一個是背景音
把所有的音頻文件都進(jìn)行人聲分離后，接下來就要對音頻進(jìn)行切片處理了，因為人聲素材文件的大小過大會影響模型訓(xùn)練的速度，所以我們還需要對其切片，將它變成一個比較小的人聲切片文件。這里使用的工具是?audio-slicer
https://github.com/openvpi/audio-slicer?
git clone https://github.com/flutydeer/audio-slicer.git cd ./audio-slicer pip install -r requirements.txt python ./slicer-gui.py
?
二、模型訓(xùn)練
模型訓(xùn)練主要是使用的是?https://github.com/svc-develop-team/so-vits-svc/tree/4.1-Stable
你可以在自己的顯卡上訓(xùn)練，也可以在云端上進(jìn)行鍛煉。因為我本機(jī)電腦的顯卡不行，所以使用云端的服務(wù)器來進(jìn)行訓(xùn)練。參考了很多教程，感覺很多博主都推薦 AutoDL 這個平臺，所以我們也使用這個，避免走彎路~
這里租用一臺 v100 的算力服務(wù)器
鏡像這里選擇：
選擇 v3 或者 v4 模型都可以
買完之后進(jìn)入控制臺，接下來就是使用網(wǎng)盤把我們處理過的人聲素材導(dǎo)入到實(shí)例容器中
點(diǎn)擊“AutoPanel”進(jìn)入控制臺
?可以先把訓(xùn)練數(shù)據(jù)上傳到阿里云，在這里用阿里云app掃碼登錄。對需要上傳到容器內(nèi)的訓(xùn)練集文件夾，點(diǎn)擊下載，然后就可以自動同步到容器內(nèi)的這個文件夾目錄里的，整個過程耗時會稍微久一點(diǎn)。
?至此，我們的數(shù)據(jù)集就全部準(zhǔn)備好了，下面就準(zhǔn)備訓(xùn)練了。
?
二、模型訓(xùn)練
回到我們的控制臺，點(diǎn)擊 JupyterLab 進(jìn)入容器內(nèi)
進(jìn)入 JupyterLab 后，打開項目內(nèi)的 README-v4.ipynb ，可以看到模型作者很細(xì)致的將模型訓(xùn)練每一步都做成了可視化操作的命令步驟解析。第一步就是我們的訓(xùn)練集從 /dataset 文件夾目錄，搬運(yùn)到 /dataset_raw。只需要鼠標(biāo)點(diǎn)擊模型作者第一步 [1]: 所標(biāo)識的python命令，然后點(diǎn)擊運(yùn)行按鈕即可，這個點(diǎn)擊后需要小小等待一會，它開始運(yùn)行時命令下面會有相關(guān)的輸出提示。
在此文件夾目錄下，數(shù)據(jù)集就安放正確了。比如你訓(xùn)練數(shù)據(jù)集的文件夾名稱是 Paimondata 則會在此目錄下生成一個同樣的目錄，其實(shí)你可以直接把數(shù)據(jù)集導(dǎo)入到這里也行，不用網(wǎng)盤。
?在文檔中也清楚的說明了，文件夾名稱就是你訓(xùn)練的人聲名字，可以放多個你想要訓(xùn)練的聲音目標(biāo)
?
?第二步就是對數(shù)據(jù)集進(jìn)行采樣至 44100hz。第三步則是進(jìn)行自動劃分訓(xùn)練集。這兩部分也是一樣，按運(yùn)行按鈕執(zhí)行。
?接下來就是對配置文件 /config/config.json 文件進(jìn)行配置，編輯后進(jìn)行修改：把 "learning_rate"改成 0.0004，把 "batch_size"改成24，把 "keep_ckpts"改成10，然后按Ctrl+S保存?。?！
learning_rate和batch_size這兩個參數(shù)可以理解為訓(xùn)練速度和訓(xùn)練質(zhì)量，因為我們用的V100 32G顯卡，這塊直接固定死數(shù)值就可以，keep_ckpts是保存多少個模型，因為聲音模型訓(xùn)練是不會自動停止的，每幾千步就會給你保存一個模型，所以我們可以讓他自動保存最新的10個模型讓我們來選一個最好的。
接著需要生成 hubert 和 f0，這里是后面推理的時候添加的輔助選項，為了修飾推理出來的音頻更加順滑
如果你是第一次訓(xùn)練，則無需進(jìn)行清理，直接跳到訓(xùn)練這一步就行了，不過在訓(xùn)練這里，按照文檔注釋的，使用終端來進(jìn)行訓(xùn)練命令的執(zhí)行。
?注意一下，這里需要在項目的當(dāng)前目錄才能執(zhí)行，如果不是項目目錄可以
cd ~/autodl-tmp/so-vite-svc
出現(xiàn)日志后就說明開始訓(xùn)練了，可以看到每訓(xùn)練200步，train.log 日志就記錄相關(guān)的日志，也就是控制臺中的輸出。沒當(dāng)800步的時候就會保存一個模型，工程會默認(rèn)保存最新的十個模型，模型目錄如下
然后我們可以等待它的模型了，一般達(dá)到10000步的時候效果會比較好一些，這個過程差不多五個小時，這時候咱們可以去吃飯喝茶遛彎干別的事情了，哪怕關(guān)掉電腦都行，訓(xùn)練命令并不會因為與 autodl 的網(wǎng)頁連接中斷而停止，所以不用擔(dān)心。
?
三、聲音推理
python inference_main.py -m "logs/44k/G_{模型編號}.pth" -c "configs/config.json" -n {raw目錄下需要轉(zhuǎn)換的人聲文件名} -t 0 -s {上面你數(shù)據(jù)訓(xùn)練集的文件夾名稱也就是文檔里的speaker name}
關(guān)于推理參數(shù)，文檔有很詳細(xì)的描述
#用腳本推理 !python inference_main.py #推理結(jié)果會存放在so-vits-svc/results文件夾 #如果不編輯推理腳本，參數(shù)直接附加在上面的指令后 #如 !python inference_main.py -m "logs/44k/G_30400.pth" -c "configs/config.json"... #每個參數(shù)需要用""括起來 #必填參數(shù) #-m, --model_path：模型路徑。 #-c, --config_path：配置文件路徑。 #-n, --clean_names：wav 文件名列表，放在 raw 文件夾下。 #-t, --trans：音高調(diào)整，支持正負(fù)（半音）。 #-s, --spk_list：合成目標(biāo)說話人名稱。 #可填參數(shù) #-a, --auto_predict_f0：語音轉(zhuǎn)換自動預(yù)測音高，轉(zhuǎn)換歌聲時不要打開這個會嚴(yán)重跑調(diào)。 #-cm, --cluster_model_path：聚類模型路徑，如果沒有訓(xùn)練聚類則隨便填。 #-cr, --cluster_infer_ratio：聚類方案占比，范圍 0-1，若沒有訓(xùn)練聚類模型則填 0 即可。
所有的推理產(chǎn)出都在 result 文件夾中
?
最后的最后讓我們一起來聽一下成片吧~~~
鏈接: https://pan.baidu.com/s/1lwCvlZc91UYmPmtICksLIQ 提取碼: dezw?文章來源：http://www.zghlxwxcb.cn/news/detail-459682.html
?
到了這里，關(guān)于泰褲辣?。?！手摸手教學(xué)，如何訓(xùn)練一個你的專屬AI歌姬~的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
