之前發(fā)了幾個(gè)視頻簡單的演示了下同聲傳譯的效果（顯卡是特斯拉P40，效果比較差，功能是ok了）
Vrchat 嘗試實(shí)時(shí)翻譯和語音輸出_嗶哩嗶哩_bilibili
寫一下實(shí)現(xiàn)的思路和相關(guān)的配置（可以根據(jù)思路換其他的軟件或者網(wǎng)站實(shí)現(xiàn)）
當(dāng)然這一套也是可以用在其他軟件，或者在vr中使用的
前置環(huán)境
? ???????本地使用的顯卡是特斯拉P40，
????????Ubuntu 22.04.3 LTS，
????????conda管理，
????????python3.9.16，
????????服務(wù)器上配置了代理
? ? ? ? 因?yàn)閟eamlessstreaming用到了ws，一定要https才能遠(yuǎn)程訪問，因此得用openssl自簽證書，然后反向代理開出去。（seamless streaming的部署不在本次筆記中描述，這里主要描述實(shí)際應(yīng)用的思路和方式）
關(guān)鍵軟件
1.voice meeter(聲音轉(zhuǎn)換麥克風(fēng))
2.搜狗拼音輸入法（沒想到吧）將外語實(shí)時(shí)翻譯成中文
3.seamless streaming，需要自己搭建，或者使用其他的實(shí)時(shí)tts服務(wù)（whisper desktop+網(wǎng)易易魔聲或者bark等，但是我看基本沒有持續(xù)的websocket轉(zhuǎn)換，需要自己說話點(diǎn)一下麥克風(fēng)），或者掏錢使用微軟的itranslate那種（沒研究過哈）
4.（可選）變聲器，我用了需要sovits模型的voice-changer
5.voice changer
需要的話可以自己去b站里搜，很多教程的
輸入（外語翻譯中文）
輸入轉(zhuǎn)換流程
簡單來說就是vrchat->voice meeter->搜狗拼音輸入法 語音輸入->txt文件
重點(diǎn)是voice meeter的配置和vrchat的配置
vrchat的聲音配置
1.vrchat聲音配置
這個(gè)聲音配置是在系統(tǒng)->聲音->音量合成器
2.voice meeter配置
如果要變聲，使用photo版本（三個(gè)虛擬聲卡），否則banana就行了，2個(gè)虛擬聲卡
voice meeter的配置
主要看第一個(gè)就行了
勾上A2，表示聲音要輸出到實(shí)體聲卡，就是右邊A2配置的聲卡，我這里選了耳機(jī)，因?yàn)槲蚁肼牭皆?/strong>
勾上B1，表示voice meeter將聲音轉(zhuǎn)換到 voice meeter VAIO OUTPUT 這個(gè)虛擬麥克風(fēng)驅(qū)動(dòng)，順帶一提B2對(duì)應(yīng)虛擬麥克風(fēng)AUX OUTPUT，B3對(duì)應(yīng)VAIO3 OUTPUT
配置調(diào)試參考
? ? ? ? 配置成功后，有音量波動(dòng)就是有相應(yīng)輸出了
3.配置搜狗的輸入
這樣就把聲音傳給搜狗了（實(shí)際可以自己去試下，本來我錄制了視頻，但是嘴碎想想還是打打字算了）
輸出（說中文轉(zhuǎn)英文，基于seamless streaming）
實(shí)現(xiàn)流程
????關(guān)于seamless streaming的安裝直接按照meta官方的readme來，然后只需要會(huì)一點(diǎn)點(diǎn)python就行
????????地址是https://huggingface.co/spaces/facebook/seamless-streaming/tree/main
? ? ? ? 項(xiàng)目自帶readme文件
????順帶一提這個(gè)seamless streaming其實(shí)是可以把情緒也翻譯過來的（但是要申請(qǐng)模型），替代方案bark也是可以的。
????然后是瀏覽器的聲音配置（如果是使用vr的話，外部輸入改成virtual desktop或者Oculus的那個(gè)headphone就行）
再展示下vocie meeter的配置
voice meeter配置
到這里基本完事了，可以直接去vrchat里設(shè)置下麥克風(fēng)
使用VAIO3
當(dāng)然，像我這樣的男人，會(huì)加一點(diǎn)one more thing，也就是變聲器的配置
voice changer client的配置
當(dāng)然，vrchat中的麥克風(fēng)也要改
文章來源：http://www.zghlxwxcb.cn/news/detail-797430.html
使用aux
效果自行體驗(yàn)哈?。ň褪锹曇粲悬c(diǎn)癡呆）文章來源地址http://www.zghlxwxcb.cn/news/detail-797430.html
到了這里，關(guān)于SeamlessStreaming在vrchat的同聲傳譯的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
