MiniGPT-4
是一個(gè)人工智能工具,?最大的飛躍是增加了識圖能力,?并且回答準(zhǔn)確性也得到顯著提高。?它可以識別圖片并回答關(guān)于圖片的問題,?例如圖片內(nèi)容、?顏色等等。
?此外,?它還可以進(jìn)行圖像對話,?即通過圖片和文本進(jìn)行對話。
?MiniGPT-4
在多個(gè)專業(yè)和學(xué)術(shù)基準(zhǔn)測試中展現(xiàn)出令人印象深刻的表現(xiàn),?有時(shí)甚至達(dá)到了人類水平。?MiniGPT-4
是開源且免費(fèi)的,?支持中文。
?它可以根據(jù)給定的圖像創(chuàng)作故事和詩歌,?提供解決圖像中顯示的問題的解決方案,?根據(jù)食品照片教用戶如何烹飪等。
?它是一個(gè)華人團(tuán)隊(duì)開發(fā)的模型,?可以使用高級大型語言模型增強(qiáng)視覺語言理解。?MiniGPT-4
的訓(xùn)練過程包括兩個(gè)階段,?第一個(gè)階段使用大約5百萬對齊的圖像文本對進(jìn)行傳統(tǒng)的預(yù)訓(xùn)練,?第二個(gè)階段使用高級大型語言模型進(jìn)行微調(diào)。?
MiniGPT-4
是一個(gè)高效的視覺-語言模型,?由視覺編碼器、?單個(gè)線性投影層和先進(jìn)的Vicuna
大型語言模型組成。?該模型僅需要訓(xùn)練線性層以將視覺特征與Vicuna
對齊,?使用約500萬對圖像和文本進(jìn)行訓(xùn)練。?MiniGPT-4
的架構(gòu)基于預(yù)訓(xùn)練的ViT
和Q-Former
,?可提高視覺-語言理解的整體可用性。
開源地址在github上。
更多的工具,可以參考 AiBard123
MiniGPT-4
上的例子有很多,比如這個(gè)是根據(jù)圖片生成詩歌。
真的看上去挺美的。
MiniGPT-4
還能在線免費(fèi)體驗(yàn),地址在https://c9cd51f7cae3c9fec1.gradio.live/,或者在github的官網(wǎng)上點(diǎn)demo進(jìn)去。
給了一張千與千尋的宣傳圖片,我們問MiniGPT-4
這是哪部電影,MiniGPT-4
答得非常的完美。文章來源:http://www.zghlxwxcb.cn/news/detail-425665.html
說吧說吧!最新的大模型語言GPT4是不是很???未來只要應(yīng)用基于這些大模型,圖像、聲音、視頻等領(lǐng)域的效果應(yīng)該都不會太差!別說我沒告訴你,這個(gè)項(xiàng)目還證明了大語言模型在圖像領(lǐng)域很?!下一步嘛,有很多想搭順風(fēng)車的開發(fā)者都拔腿瘋狂加入大模型陣營,把GPT4的能力擴(kuò)展至音頻、視頻等領(lǐng)域,讓我們再看到更多有趣、??的AI應(yīng)用程序吧!文章來源地址http://www.zghlxwxcb.cn/news/detail-425665.html
到了這里,關(guān)于AI看圖說話,MiniGPT-4已經(jīng)開源的文章就介紹完了。如果您還想了解更多內(nèi)容,請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!