“AI前沿技術(shù)”專欄匯集了最前沿的人工智能技術(shù)，包括自然語(yǔ)言處理、語(yǔ)音識(shí)別、圖像識(shí)別、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、計(jì)算機(jī)視覺(jué)、區(qū)塊鏈技術(shù)、智能機(jī)器人技術(shù)和虛擬現(xiàn)實(shí)技術(shù)等。本專欄將帶您了解人工智能領(lǐng)域的最新進(jìn)展和研究成果，探索人工智能技術(shù)的應(yīng)用前景，感受人工智能給社會(huì)帶來(lái)的變革。
1.Quivr 是一款使用生成 AI 技術(shù)來(lái)存儲(chǔ)和檢索非結(jié)構(gòu)化信息的“第二大腦”
1.Quivr 是一款使用生成 AI 技術(shù)來(lái)存儲(chǔ)和檢索非結(jié)構(gòu)化信息的“第二大腦”，可以將其視為 Obsidian 的增強(qiáng)版，并且具備更強(qiáng)的人工智能功能。
https://github.com/StanGirard/quivr
Quivr可以幫助把你的本地文件向量化，然后存儲(chǔ)到云端，隨時(shí)可以查詢對(duì)話。文檔格式支持Text、Markdown、 PDF、音頻和視頻。GPT端支持ChatGPT-3/4和Claude。 向量數(shù)據(jù)庫(kù)使用的是Supabase ，音視頻是基于Whisper的API處理成文本的，主要語(yǔ)言是Python開(kāi)發(fā)。
- 存儲(chǔ)任何文件：Quivr可以處理幾乎所有類型的數(shù)據(jù)。文本、圖像、代碼片段等等，您只需要說(shuō)出來(lái)。
- 生成式人工智能：Quivr使用先進(jìn)的人工智能技術(shù)來(lái)幫助您生成和檢索信息。
- 快速高效：Quivr專為速度和效率而設(shè)計(jì)，以確保您能夠盡快訪問(wèn)自己的數(shù)據(jù)。
- 安全可靠：您的數(shù)據(jù)始終在您的控制下。
- 兼容文件格式： TXT、CSV、MD、MARKDOWN、M4A、MP3、WEBM、MP4、MPGA、WAV、MPEG、PDF、HTML、*PPTX、DOCX（每個(gè)文件限制200M）
- 開(kāi)源免費(fèi)：Quivr是開(kāi)源的，并且可以免費(fèi)使用。
目標(biāo)：Quivr上傳本地文件到向量數(shù)據(jù)庫(kù)并及時(shí)進(jìn)行文本內(nèi)容檢索。
Quivr 是一款使用生成 AI 技術(shù)來(lái)存儲(chǔ)和檢索非結(jié)構(gòu)化信
Quivr 是一款使用生成 AI 技術(shù)來(lái)存儲(chǔ)和檢索非結(jié)構(gòu)化信
2.Drag Your GAN AI版PhotoShop
2.Drag Your GAN: Interactive Point-based Manipulation on the Generative Image Manifold
https://github.com/XingangPan/DragGAN
DragGAN 由兩個(gè)主要部分組成：
第一部分是基于特征的運(yùn)動(dòng)監(jiān)督，通過(guò)控制起始點(diǎn)向目標(biāo)點(diǎn)運(yùn)動(dòng)，實(shí)現(xiàn)圖像的變形；
第二部分是新的點(diǎn)跟蹤方法，即最近鄰檢索，通過(guò)在相同的特征空間上進(jìn)行點(diǎn)跟蹤，提高了效率，并避免了累計(jì)誤差損失。
DragGAN
Drag Your GAN
看效果，炸裂！PhotoShop 瑟瑟發(fā)抖，p圖越來(lái)越簡(jiǎn)單
3.MiniGPT-4
https://github.com/Vision-CAIR/MiniGPT-4
阿卜杜拉國(guó)王科技大學(xué)開(kāi)源MiniGPT-4，具備類GPT-4的圖像理解與對(duì)話能力的多模態(tài)大模型
MiniGPT-4 是阿卜杜拉國(guó)王科技大學(xué)開(kāi)源的一款多模態(tài)大模型，同時(shí)具備圖像理解與對(duì)話能力。它使用 BLIP-2 的凍結(jié)視覺(jué)編碼器和 Vicuna 的凍結(jié) LLM，僅使用一個(gè)投影層進(jìn)行對(duì)齊。MiniGPT-4 的訓(xùn)練分為兩個(gè)階段。第一階段是傳統(tǒng)的預(yù)訓(xùn)練階段，使用 4 個(gè) A100 GPU，大約 10 小時(shí)內(nèi)訓(xùn)練了大約 500 萬(wàn)個(gè)圖像和文本對(duì)。第二階段針對(duì)對(duì)話模板進(jìn)行微調(diào)，實(shí)現(xiàn)了類似 GPT4 性能的視覺(jué)語(yǔ)言能力，例如細(xì)的圖像描述生成、從手寫草稿創(chuàng)建網(wǎng)站等。項(xiàng)目目前已經(jīng)在 github 開(kāi)源，提供在線試用，安裝環(huán)境和模型權(quán)重的步驟，可在本地運(yùn)行 demo，以重新訓(xùn)練。
MiniGPT4 是一個(gè)具有圖像理解能力的開(kāi)源模型，其基于 Vicuna 大語(yǔ)言模型 以及 BLIP-2 中的VIT和Qformer模塊進(jìn)行訓(xùn)練，使得MiniGPT4 擁有類似于GPT4的非凡能力，例如詳細(xì)的圖像描述生成和從手寫草稿創(chuàng)建網(wǎng)站。 此外 MiniGPT4 還具備一些的其他新的功能，包括根據(jù)給定圖像寫故事和詩(shī)歌，為圖像中顯示的問(wèn)題提供解決方案，教用戶如何根據(jù)食物照片做飯等。下圖展示了MiniGPT4的模型結(jié)構(gòu)， 更多信息請(qǐng)參考MiniGPT4。![Ai前沿技術(shù)匯總[1]：Quivr非結(jié)構(gòu)化信息搜索、Drag Your GAN AI修圖、MiniGPT-4、Falcon-40B、localGPT,AI前沿技術(shù)匯總,人工智能,生成對(duì)抗網(wǎng)絡(luò),chatgpt,深度學(xué)習(xí),GPT](https://imgs.yssmx.com/Uploads/2023/07/533794-1.png)
![Ai前沿技術(shù)匯總[1]：Quivr非結(jié)構(gòu)化信息搜索、Drag Your GAN AI修圖、MiniGPT-4、Falcon-40B、localGPT,AI前沿技術(shù)匯總,人工智能,生成對(duì)抗網(wǎng)絡(luò),chatgpt,深度學(xué)習(xí),GPT](https://imgs.yssmx.com/Uploads/2023/07/533794-2.png)
![Ai前沿技術(shù)匯總[1]：Quivr非結(jié)構(gòu)化信息搜索、Drag Your GAN AI修圖、MiniGPT-4、Falcon-40B、localGPT,AI前沿技術(shù)匯總,人工智能,生成對(duì)抗網(wǎng)絡(luò),chatgpt,深度學(xué)習(xí),GPT](https://imgs.yssmx.com/Uploads/2023/07/533794-3.png)
相關(guān)鏈接：
- 模型權(quán)重-https://huggingface.co/lmsys
- 論文-MiniGPT-4: Enhancing Vision-Language Understanding with Advanced Large Language Models
- paddle框架下 minigpt4
- 獲取和轉(zhuǎn)換 Paddle 版 MiniGPT4 權(quán)重
4.Falcon-40B，40B性能超越650億的LLaMA
阿聯(lián)酋阿布扎比技術(shù)創(chuàng)新研究所開(kāi)源模型Falcon，支持免費(fèi)商用，40B性能超越650億的LLaMA
Falcon 是阿聯(lián)酋阿布扎比技術(shù)創(chuàng)新研究所（TII）開(kāi)發(fā)的一種開(kāi)源語(yǔ)言模型，免費(fèi)可商用，比 LLaMA 表現(xiàn)更好。它有三個(gè)版本，其中 Falcon 40B 是最強(qiáng)大的，雖然規(guī)模稍小于 LLaMA 65B，但在性能方面表現(xiàn)出色，位列 Hugging Face OpenLLM 排行榜前兩名。Falcon 40B 經(jīng)過(guò) 1 萬(wàn)億 token 網(wǎng)絡(luò)數(shù)據(jù)集的訓(xùn)練，能夠理解多種語(yǔ)言，包括歐洲小語(yǔ)種。該模型的訓(xùn)練成本低，僅相當(dāng)于 Chinchilla 的 40%和 PaLM-62B 的 80%。相較于 GPT-3，F(xiàn)alcon 在只使用 75%的訓(xùn)練計(jì)算預(yù)算的情況下，實(shí)現(xiàn)了顯著的性能提升，推理能力強(qiáng)，只需要 20%的計(jì)算時(shí)間。
相關(guān)鏈接：
https://sota.jiqizhixin.com/project/falcon
5.localGPT：使用GPT在本地設(shè)備上進(jìn)行100％私密問(wèn)答，無(wú)需互聯(lián)網(wǎng)連接
通過(guò)使用 GPT 模型在本地設(shè)備上與文檔進(jìn)行問(wèn)答交流的方式，實(shí)現(xiàn) 100％私密且不離開(kāi)設(shè)備的聊天。該項(xiàng)目受到了之前 privateGPT 的啟發(fā)，使用 Vicuna-7B 模型替換了 GPT4ALL 模型，并使用 InstructorEmbeddings 代替原始 privateGPT 中使用的 LlamaEmbeddings。無(wú)論是 Embeddings 還是 LLM 都將在 GPU 上運(yùn)行，并提供了 CPU 支持?？梢栽跊](méi)有互聯(lián)網(wǎng)連接的情況下向您的文檔提問(wèn)，并利用 LLM 的強(qiáng)大功能。
相關(guān)鏈接：
https://github.com/PromtEngineer/localGPT
LocalGPT OFFLINE CHAT FOR YOU
更多資訊：
多模態(tài)大模型MiniGPT4和LLaVA開(kāi)源（GPT4圖文對(duì)話平替）；MOSS、StableLM等模型放出權(quán)重、支持本地部署
IBM開(kāi)源單峰駱駝，自對(duì)齊訓(xùn)練降低類ChatGPT實(shí)現(xiàn)成本；MPT-7B、RedPajama系列模型可商用，權(quán)重均發(fā)布
BLOOMChat176B開(kāi)源，支持中文可商用；谷歌發(fā)布DragGAN，單張3090可跑文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-533794.html
Falcon-40B免費(fèi)商用模型開(kāi)源，性能超越LLaMA-65B；多個(gè)醫(yī)療、法律領(lǐng)域LLM開(kāi)源（含中文）文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-533794.html
到了這里，關(guān)于Ai前沿技術(shù)匯總[1]：Quivr非結(jié)構(gòu)化信息搜索、Drag Your GAN AI修圖、MiniGPT-4、Falcon-40B、localGPT的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
