昨天看視頻 我們做了個(gè)能對話的AI派蒙，免費(fèi)給大家玩！

發(fā)現(xiàn)阿里有一個(gè)語音轉(zhuǎn)文字的模型(paraformer),之前處理這種需求一直都是直接調(diào)用服務(wù)商提供好的API接口

突然想嘗試一下本地搭建,雖然和直接調(diào)用API 沒啥區(qū)別(都不知道實(shí)現(xiàn)細(xì)節(jié)),但是這是本地化運(yùn)行,可以在內(nèi)網(wǎng)環(huán)境運(yùn)行.

因?yàn)槠匠９ぷ髦饕莏ava方向,順便記錄一些踩坑歷史.

環(huán)境安裝

參考 環(huán)境安裝
CPU環(huán)境鏡像：

docker pull registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-py37-torch1.11.0-tf1.15.5-1.5.0

GPU環(huán)境鏡像：

docker pull registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-cuda11.3.0-py37-torch1.11.0-tf1.15.5-1.5.0

啟動鏡像

下載后 運(yùn)行

cpu:
docker run -d --name cpu1 -v f:\docker:/work -p 9091:9090 -it --rm alicpuenv /bin/bash

gpu:
docker run -d --name gpu1 -v f:\docker:/work -p 9092:9090 --gpus all -it --rm aligpuenv /bin/bash

demo

環(huán)境搭建好了,跑示例就簡單了,官網(wǎng)提供了現(xiàn)成的demo

from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

inference_pipeline = pipeline(
    task=Tasks.auto_speech_recognition,
    model='damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch')

rec_result = inference_pipeline(audio_in='https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/asr_example_zh.wav')
print(rec_result)

直接創(chuàng)建一個(gè) demo.py 就可以運(yùn)行.

它這里會自動從網(wǎng)上下載模型,大概一個(gè)多G(只需下載一次),可能有點(diǎn)慢.

經(jīng)測試, 我的CPU(AMD Ryzen 7 3700X 8-Core Processor 3.60 GHz) 上跑這段程序(5s 左右的音頻)是 700ms 左右,GPU(RTX 2070) 是500ms 左右

ps: 當(dāng)然官網(wǎng)也提供了在線的 notebook 可以直接運(yùn)行,想體驗(yàn)的同學(xué)可以直接在線運(yùn)行.

如果GPU環(huán)境報(bào)錯(cuò)

docker: Error response from daemon: failed to create shim task: OCI runtime create failed: runc create failed: unable to start container process: error during container init: error running hook #0: error running hook: exit status 1, stdout: , stderr: Auto-detected mode as 'legacy'
nvidia-container-cli: mount error: file creation failed: /var/lib/docker/overlay2/76aebda714a598487d6ec2615bfbc8729722e3138a846830a407d07f929128c4/merged/usr/lib/x86_64-linux-gnu/libnvidia-ml.so.1: file exists: unknown.
ERRO[0000] error waiting for container:

可以參考 https://blog.51cto.com/u_15642578/6178468

大概步驟文章來源地址http://www.zghlxwxcb.cn/news/detail-431487.html

1. 先不掛載gpu, 直接進(jìn)入容器, 備份兩個(gè)文件

docker run   -it --rm aligpuenv /bin/bash
mv /usr/lib/x86_64-linux-gnu/libnvidia-ml.so.1? /usr/lib/x86_64-linux-gnu/libnvidia-ml.so.1.bak
mv /usr/lib/x86_64-linux-gnu/libcuda.so.1? /usr/lib/x86_64-linux-gnu/libcuda.so.1.bak

2. 提交鏡像修改

docker commit? xxxxxxxxxx?aligpuenv

3. 運(yùn)行新鏡像

docker run -d --name gpu1 -v f:\docker:/work -p 9092:9090 --gpus all -it --rm aligpuenv /bin/bash

到了這里，關(guān)于windows11 下使用 modelscope docker環(huán)境 實(shí)現(xiàn) 離線語音轉(zhuǎn)文字的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！