大家好，我是龍一，專注AI輕創(chuàng)副業(yè)項目分享，今天給大家分享一款阿里近日推出的開源的圖片生成視頻的Ai工具，目前可免費使用，沒有使用次數(shù)的限制，效果非常好，不得不說比RunwayGen2香多了。
可以根據(jù)用戶輸入的靜態(tài)圖像和文本生成目標接近、語義相同的視頻，生成的視頻具高清(1280 * 720)、寬屏(16:9)、時序連貫、質感好等特點。
這個項目的名字叫I2VGen-XL，由阿里達摩院研發(fā)的高清視頻生成基礎模型，旨在解決根據(jù)輸入圖像生成高清視頻任務。生成的視頻還支持二次修改和高清化，你要是覺得不滿意可以多點幾下重新生成，內(nèi)容要是不滿意還可以輸入提示詞調(diào)整視頻內(nèi)容、運鏡、運動方向等等，輸出高清視頻。
具體的原理如下，參數(shù)量共計約37億，總結下來分為兩個階段，就是通過輸入圖片生成圖片序列，然后可以通過文字進行微調(diào)并生成高清圖片。
下面展示一下具體的生成的案例，由于文章無法放入視頻，我選擇插入gif圖片，展示效果會大打折扣，想搞完整高清的可以去我的視頻號看最新視頻介紹。左邊是原圖，右邊是生成的效果。
同時還支持自己部署，不過對于設備的要求比較高。I2VGen-XL包含2個模型：圖片生成視頻模型MS-Image2Video和視頻生成視頻模型MS-Vid2Vid。
MS-Image2Video建立在Stable Diffusion之上，如給出的原理圖所示，通過專門設計的時空UNet在隱空間中進行時空建模并通過解碼器重建出最終視頻。
在1*A100的環(huán)境配置下運行 (可以單卡運行, 圖生視頻模型顯存要求20G，視頻生成視頻顯存要求28G)
torch2.0.1+cu117，python>=3.8
安裝miniconda
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
一直[ENTER], 最后一個選項yes即可
sh Miniconda3-latest-Linux-x86_64.sh
conda虛擬環(huán)境搭建
conda create --name ms-sft python=3.8
conda activate ms-sft
安裝最新的ModelScope
pip install "modelscope" --upgrade -f https://pypi.org/project/modelscope/
確定你的系統(tǒng)安裝了ffmpeg命令，如果沒有，可以通過以下命令來安裝
sudo apt-get update && apt-get install ffmpeg libsm6 libxext6 -y
安裝依賴庫
pip install xformers==0.0.20
pip install torch==2.0.1
pip install torchsde
pip install open_clip_torch>=2.0.2
pip install opencv-python-headless
pip install opencv-python
pip install einops>=0.4
pip install rotary-embedding-torch
pip install fairscale
pip install scipy
pip install imageio
pip install pytorch-lightning
下載好模型，模型鏈接后臺回復Ai視頻即可獲取。
通過以下代碼，實現(xiàn)模型的下載和推理。
第一步：圖生視頻 (所需顯存單卡20G)
from modelscope.pipelines import pipeline
from modelscope.outputs import OutputKeys
pipe = pipeline(task="image-to-video", model='damo/Image-to-Video', model_revision='v1.1.0')
IMG_PATH: your image path (url or local file)
IMG_PATH = './example.png'
output_video_path = pipe(IMG_PATH, output_video='./output.mp4')[OutputKeys.OUTPUT_VIDEO]
print(output_video_path)
第二步：提升視頻分辨率 (所需顯存單卡28G)
pipe =pipeline(task="video-to-video", model='damo/Video-to-Video', model_revision='v1.1.0')
# VID_PATH: your video path
# TEXT : your text description
VID_PATH = './output.mp4'
TEXT = 'A lovely little fox is among the flowers.'
p_input = {
'video_path': VID_PATH,
'text': TEXT
}
output_video_path = pipe(p_input, output_video='./output.mp4')[OutputKeys.OUTPUT_VIDEO]
print(output_video_path)
如果自己不想部署，想白嫖的兄弟，公z號【龍一的編程life】后臺回復Ai視頻獲取體驗鏈接。
其他更多Ai干貨看我往期作品！文章來源：http://www.zghlxwxcb.cn/news/detail-715766.html
好了內(nèi)容分享到這里就結束了，我是龍一，持續(xù)為大家分享AI+自媒體的干貨，請大家多多關注點贊！文章來源地址http://www.zghlxwxcb.cn/news/detail-715766.html
到了這里，關于【AI生成視頻工具】阿里推出圖片生成視頻Ai工具，免費無限制國內(nèi)可用，比GEN2香多了的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！
