文章開始首先感謝 B站UP:?陰沉的怪咖?提供的最初資源包

一 項(xiàng)目實(shí)現(xiàn)

2.gif

體驗(yàn)地址

• 體驗(yàn)地址?www.aixmao.com
• 不能放視頻,看效果去B站鏈接:B站鏈接_bilibili
  UP主提供初始代碼地址:
  Github地址：https://github.com/zhangliwei7758/unity-AI-Chat-Toolkit
  Gitee地址：https://gitee.com/DammonSpace/unity-ai-chat-toolkit
  2、LipSync插件地址：
  https://developer.oculus.com/downloads/package/oculus-lipsync-unity/

1.web端實(shí)時(shí)語(yǔ)音識(shí)別,無(wú)需調(diào)用任何api與接口

2.web端j基于視素的實(shí)時(shí)口型

3.二次元語(yǔ)音模型

4.虛擬角色模擬 (基于chatGLM3)

5.web端輸入文字實(shí)現(xiàn)交互對(duì)話(chatGLM3,porobot)

6.web端后臺(tái)文字驅(qū)動(dòng)模型實(shí)時(shí)講話,控制好友模型講話等

7.定時(shí)任務(wù)驅(qū)動(dòng)模型

js1.gif

二 項(xiàng)目預(yù)覽

1.不同之處

1. 基于api請(qǐng)求,整體下來(lái)響應(yīng)速度略慢,影響體驗(yàn)
比如一次請(qǐng)求:

• 1.用戶輸入語(yǔ)音提問,點(diǎn)擊提交 (請(qǐng)求一次后臺(tái))
• 2.后臺(tái)拿到文字 http/https調(diào)用STT語(yǔ)音識(shí)別平臺(tái) (請(qǐng)求一次STT平臺(tái))
• 3.平臺(tái)返回文字結(jié)果,后臺(tái)拿到生成的用戶提問文字
• 4.用戶文字再去請(qǐng)求大語(yǔ)言模型(GLM,LLM,chatgpt等),等待大語(yǔ)言模型返回結(jié)果 (請(qǐng)求一次大語(yǔ)言模型平臺(tái))
• 5.后臺(tái)拿到返回結(jié)果,再次調(diào)用TTS平臺(tái)語(yǔ)音合成的api,生成語(yǔ)音 (請(qǐng)求一次TTS平臺(tái))
• 6.拿到語(yǔ)音結(jié)果,通過模型播放

2. 本項(xiàng)目websockt+本地化部署實(shí)現(xiàn)

• 1.用戶與后臺(tái)建立websocket實(shí)時(shí)長(zhǎng)連接 (請(qǐng)求一次)
• 2.用戶語(yǔ)音瀏覽器實(shí)時(shí)識(shí)別,直接轉(zhuǎn)為文字,通過ws直接交給后臺(tái)
• 3.后臺(tái)拿到用戶文字提問,調(diào)用本地chatGLM3生成回答內(nèi)容
• 4.生成的回答內(nèi)容,通過本地語(yǔ)音模型,生成二次元語(yǔ)音,再次通過ws直接返回給前臺(tái)

2.優(yōu)點(diǎn)

1.主打一個(gè)實(shí)時(shí),快 (江南有名沉的快...) 整個(gè)流程或許只需要一次請(qǐng)求
2.本地二次元語(yǔ)音庫(kù)
3.基于瀏覽器語(yǔ)音識(shí)別
(本來(lái)打算上傳3斷語(yǔ)音demo的,不是會(huì)員無(wú)法上傳....)

• 我是凝光,今天有點(diǎn)想你哦
• 我是鐘離,今天我有點(diǎn)想凝光
• 我是胡桃,今天我有點(diǎn)想博主

3.缺點(diǎn)

1.由于白天需要上班,下班需要帶娃,晚上只有23點(diǎn)-02點(diǎn)有空梳理項(xiàng)目,導(dǎo)致整個(gè)項(xiàng)目耦合太過嚴(yán)重(unity+python后臺(tái)+語(yǔ)音合成+chatGLM3)等沒有好好梳理
2.實(shí)際部署服務(wù)器后,由于囊腫羞澀,實(shí)在整不起GPU服務(wù)器,顧將chatGLM3換成了porobot 一個(gè)暫時(shí)測(cè)試方案
3.unity打包webgl后包體稍大,導(dǎo)致第一次加載體驗(yàn)頁(yè)面較慢(有時(shí)間優(yōu)化webgl打包問題)

4.亮點(diǎn)

1.整個(gè)項(xiàng)目不需要調(diào)用外部任何接口,可以本地化部署
2.web基于視素的實(shí)時(shí)口型,類似虛擬數(shù)字人(比驅(qū)動(dòng)圖片口型強(qiáng)太多了)

5.后期規(guī)劃

1.基于開源項(xiàng)目搭建 虛擬角色定制系統(tǒng)
2.根據(jù)用戶設(shè)立角色背景創(chuàng)建符合背景的角色信息
3.開放大世界RPG類場(chǎng)景,多人AI對(duì)話
4.等哥們有錢了,給大家上GPU服務(wù)器體驗(yàn)

6.體驗(yàn)說(shuō)明

1.由于服務(wù)器性能限制(很基本的服務(wù)器),會(huì)導(dǎo)致部分體驗(yàn)問題
2.基于服務(wù)器性能,注冊(cè)用戶是驗(yàn)證碼稍微看不清....(過濾一波沒耐心的,后續(xù)也會(huì)打開驗(yàn)證碼大小寫)
3.登錄臨時(shí)寫,有問題評(píng)論區(qū)留言

三 遇到的問題

太NNNNNM多了.................................................
這里吐槽下某SBDN,CTM的,什么玩意垃圾文檔,就敢讓訂閱,關(guān)注才可見,一個(gè)狗P東西都掛積分下載,都TM窮瘋啦,想找個(gè)資料可太JJJJB難了,要么老舊不對(duì)版本,要么廢話連篇講不到點(diǎn)

• ......

四 項(xiàng)目介紹

1.關(guān)于版本

• unity 2022.3.13
• python 3.10.x

wc 要帶娃了,后面抽空更新,著急的可以先去B站看看簡(jiǎn)介,另外其他UP也有很多類似的項(xiàng)目值得學(xué)習(xí)文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-785826.html

到了這里，關(guān)于unity+webgl+websocket實(shí)時(shí)口型+二次元語(yǔ)音老婆的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！