隨著生成式 AI（通常簡(jiǎn)稱為 GenAI）的興起，我們的世界發(fā)生了翻天覆地的變化。而隨著 AI 生成內(nèi)容的革命性應(yīng)用程序的出現(xiàn)，人們也認(rèn)為生成式 AI 將從根本上影響社會(huì)的各個(gè)行業(yè)和部門。

組織們都在競(jìng)相捕捉生成式 AI 的潛力。如果您也是其中一員，那么您的首要任務(wù)就是了解生成式 AI 的復(fù)雜性。在本文中，我們將討論以下關(guān)鍵問題，幫助您把握方向：

● 什么是生成式 AI？它如何工作?

● 數(shù)據(jù)在生成式 AI 中的作用是什么?

● 實(shí)施基于生成式 AI 的應(yīng)用程序的最大挑戰(zhàn)是什么？

解決這些問題后，我們將了解 MongoDB 如何幫助希望構(gòu)建由生成式 AI 提供支持的應(yīng)用程序的組織。

讓我們從基礎(chǔ)知識(shí)開始。

什么是生成式 AI？它如何工作？

生成式 AI 是指人工智能的一個(gè)分支，專注于創(chuàng)作新穎、獨(dú)特的內(nèi)容，例如文本、視覺藝術(shù)、音樂、軟件代碼等。

與預(yù)測(cè)性或分析性AI（使用機(jī)器學(xué)習(xí)來(lái)分析歷史數(shù)據(jù)、識(shí)別模式或趨勢(shì)，然后進(jìn)行預(yù)測(cè)）不同，生成式 AI 超越了簡(jiǎn)單的分析和預(yù)測(cè)；生成式 AI 是創(chuàng)作。

例如，當(dāng)一個(gè)預(yù)測(cè)性 AI 工具經(jīng)過數(shù)百萬(wàn)幅畫作及其藝術(shù)家所組成數(shù)據(jù)的訓(xùn)練后，給定一幅以前從未見過的畫作，預(yù)測(cè)性 AI 工具也許能夠確定藝術(shù)家。然而，生成式 AI 系統(tǒng)可以按照該藝術(shù)家的特定風(fēng)格創(chuàng)作一幅新畫。

AI 生成的圖像，向 DALL-E 輸入提示“Mondrian 風(fēng)格的計(jì)算機(jī)繪畫”的結(jié)果

生成式 AI 通常旨在模仿人類的智力和創(chuàng)造力，這意味著生成的內(nèi)容與上下文相關(guān)且連貫。AI生成的內(nèi)容將與人類的思維和表達(dá)模式共鳴；AI藝術(shù)可能與人類創(chuàng)造的內(nèi)容幾乎沒有區(qū)別。生成式AI輸出的可能是文本或語(yǔ)音。無(wú)論如何，這些輸出是熟悉的，但又是原創(chuàng)的，是創(chuàng)新的，同時(shí)又是真實(shí)的。

通過推理創(chuàng)建上下文相關(guān)的內(nèi)容，生成式 AI 功能可以應(yīng)用于戰(zhàn)略規(guī)劃和預(yù)測(cè)、問題解決以及假設(shè)分析等任務(wù)。

生成式 AI 在 AI 領(lǐng)域的重要性

生成式 AI 在新穎內(nèi)容創(chuàng)作中的作用為所有 AI 帶來(lái)了變革性潛力。生成式 AI 模型可以應(yīng)用于從娛樂到醫(yī)療保健的所有行業(yè)。

在藝術(shù)領(lǐng)域，GPT 與穩(wěn)定擴(kuò)散等擴(kuò)散模型相結(jié)合，使得生成式 AI 能夠生成圖像。因此，AI 藝術(shù)已經(jīng)成為一個(gè)巨大的市場(chǎng)，藝術(shù)家們利用生成式 AI 來(lái)創(chuàng)作逼真的圖像，與自然圖像幾乎沒有區(qū)別。在營(yíng)銷領(lǐng)域：營(yíng)銷人員使用生成式 AI 撰寫營(yíng)銷內(nèi)容，設(shè)計(jì)人員使用生成式 AI 來(lái)創(chuàng)造新產(chǎn)品設(shè)計(jì)。甚至制藥公司也在使用生成式 AI 來(lái)協(xié)助藥物發(fā)現(xiàn)。

生成式 AI 模型的類型

AI 模型是一組 AI 算法，它們使用機(jī)器學(xué)習(xí)來(lái)識(shí)別數(shù)據(jù)中的模式，從而使它們能夠做出預(yù)測(cè)或生成模仿原始數(shù)據(jù)的結(jié)構(gòu)和風(fēng)格的新數(shù)據(jù)。AI 領(lǐng)域充滿了許多不同類型的模型，其中生成式 AI 中最著名的是基礎(chǔ)模型。

基礎(chǔ)模型經(jīng)過大量數(shù)據(jù)的預(yù)訓(xùn)練。該模型作為“基礎(chǔ)”，可以針對(duì)特殊任務(wù)進(jìn)行調(diào)整。這使得基礎(chǔ)模型具有難以置信的多功能性，能夠勝任許多不同的任務(wù)。

大語(yǔ)言模型 (LLM)是基礎(chǔ)模型的例子之一。OpenAI 的 GPT（生成式預(yù)訓(xùn)練轉(zhuǎn)換器）是一個(gè)大語(yǔ)言模型，旨在與人類語(yǔ)言一起使用。大語(yǔ)言模型專注于自然語(yǔ)言處理，可以執(zhí)行問答、聊天機(jī)器人、轉(zhuǎn)錄、翻譯等會(huì)話任務(wù)。

其他類型的基礎(chǔ)模型可能側(cè)重于非文本內(nèi)容。這些包括生成圖像的視覺基礎(chǔ)模型，例如 Flamingo 或 OpenAI 的 DALL-E，或音頻基礎(chǔ)模型，例如 UniAudio 或 LLark.

什么是檢索增強(qiáng)生成 (RAG)？

LLM 受限于上次訓(xùn)練更新之前的可用信息，因此它不知道自那之后發(fā)生的事件或發(fā)展。那么，考慮到新數(shù)據(jù)，我們?cè)撊绾卫么笳Z(yǔ)言模型呢？

你可以選擇使用新數(shù)據(jù)重新訓(xùn)練或微調(diào)生成式模型。然而，這可能需要大量的時(shí)間和資源。更好的選擇是檢索增強(qiáng)生成 (RAG)。

RAG 允許 LLM 在內(nèi)容生成過程中動(dòng)態(tài)獲取外部實(shí)時(shí)信息。借助 RAG，生成式 AI 系統(tǒng)可以實(shí)時(shí)查詢信息數(shù)據(jù)庫(kù)，從而生成更準(zhǔn)確、更明智且更符合上下文的輸出，即使所需的知識(shí)不是最初用于訓(xùn)練的數(shù)據(jù)的一部分。

RAG 拓寬了 LLM 在生成高質(zhì)量?jī)?nèi)容方面保持最新和多功能的能力。這句話很好地總結(jié)了RAG——“RAG 填補(bǔ)了 LLM 未受過訓(xùn)練的知識(shí)空白，基本上將問答任務(wù)變成了“開卷測(cè)驗(yàn)”，這比開放和無(wú)限制的問答任務(wù)更容易，也更簡(jiǎn)單?！?/p>

然而，為了讓 RAG 從大量數(shù)據(jù)中有效地檢索相關(guān)的、語(yǔ)義相似的信息，它依賴于向量嵌入——高維空間中數(shù)據(jù)的數(shù)字表示。存儲(chǔ)和查詢這些嵌入的最佳方法是使用向量數(shù)據(jù)庫(kù)。

數(shù)據(jù)在生成式 AI 中的作用

任何 AI 系統(tǒng)（包括生成式 AI 系統(tǒng)）的有效性和多功能性都取決于用來(lái)訓(xùn)練其模型的數(shù)據(jù)的質(zhì)量、數(shù)量和多樣性。

訓(xùn)練數(shù)據(jù)：數(shù)量與質(zhì)量并重

生成式 AI 模型是在海量大型數(shù)據(jù)集上進(jìn)行訓(xùn)練的。為文本設(shè)計(jì)的模型可能經(jīng)過數(shù)十億篇文章的訓(xùn)練，而為圖像設(shè)計(jì)的另一個(gè)模型可能經(jīng)過數(shù)百萬(wàn)張圖片的訓(xùn)練。如果大語(yǔ)言模型要生成連貫且符合上下文的內(nèi)容，則需要大量的機(jī)器學(xué)習(xí)訓(xùn)練數(shù)據(jù)。隨著數(shù)據(jù)越來(lái)越多樣化和全面，模型理解和生成廣泛內(nèi)容的能力得以提高。

一般而言，更多的數(shù)據(jù)可轉(zhuǎn)化為更好的模型輸出。使用更大的數(shù)據(jù)集，生成式 AI 模型可以識(shí)別更細(xì)微的模式，從而生成更準(zhǔn)確、更細(xì)致的輸出。但是，數(shù)據(jù)的質(zhì)量也極其重要。通常，較小的高質(zhì)量數(shù)據(jù)集的表現(xiàn)可能優(yōu)于較大、不太相關(guān)的數(shù)據(jù)集。

原始數(shù)據(jù)和復(fù)雜數(shù)據(jù)

原始數(shù)據(jù)，尤其是復(fù)雜且非結(jié)構(gòu)化的數(shù)據(jù)，可能需要在數(shù)據(jù)管道的早期階段進(jìn)行預(yù)處理，然后才能用于訓(xùn)練。這也是驗(yàn)證數(shù)據(jù)的時(shí)間，確保其具有適當(dāng)?shù)拇硇郧覜]有偏見。這一驗(yàn)證步驟對(duì)于避免扭曲或片面的輸出至關(guān)重要。

標(biāo)記數(shù)據(jù)與未標(biāo)記數(shù)據(jù)

標(biāo)記數(shù)據(jù)提供有關(guān)每個(gè)數(shù)據(jù)點(diǎn)的特定信息（例如，圖像附帶的文本描述），而未標(biāo)記的數(shù)據(jù)則不包含此類注釋。生成式模型通常適用于未標(biāo)記的數(shù)據(jù)，因?yàn)樗鼈內(nèi)匀荒軌蛲ㄟ^理解固有的結(jié)構(gòu)和模式來(lái)學(xué)習(xí)如何生成內(nèi)容。

專有數(shù)據(jù)

有些數(shù)據(jù)是企業(yè)獨(dú)一無(wú)二的資產(chǎn)，包括客戶訂單歷史記錄、員工績(jī)效指標(biāo)和業(yè)務(wù)流程等。許多企業(yè)會(huì)收集這些數(shù)據(jù)，將其匿名化以防止敏感的 PII 或 PHI 泄露給下游，然后進(jìn)行傳統(tǒng)的數(shù)據(jù)分析。這些數(shù)據(jù)如果用于訓(xùn)練生成式模型，則能夠更深入的挖掘數(shù)據(jù)中包含的信息與洞察；而模型的生成內(nèi)容可以根據(jù)企業(yè)的具體需求和特點(diǎn)進(jìn)行定制化輸出。

數(shù)據(jù)在 RAG 中的作用

如上所述，RAG 將 LLM 的強(qiáng)大功能與實(shí)時(shí)數(shù)據(jù)檢索相結(jié)合。借助 RAG，您不再僅僅依賴預(yù)訓(xùn)練的數(shù)據(jù)。相反，您可以從外部數(shù)據(jù)庫(kù)即時(shí)提取相關(guān)信息。這確保了生成的內(nèi)容是最新且準(zhǔn)確的。

如何使用專有數(shù)據(jù)增強(qiáng)生成式 AI 模型

在使用生成式模型時(shí)，“提示工程”扮演著重要的角色。這項(xiàng)技術(shù)要求我們精心設(shè)計(jì)特定輸入查詢或指令來(lái)指導(dǎo)模型，使其能夠更好地定制化輸出或響應(yīng)。借助 RAG（檢索增強(qiáng)生成）技術(shù)，我們可以使用專有數(shù)據(jù)來(lái)增強(qiáng)提示，使 AI 模型能夠在考慮企業(yè)數(shù)據(jù)的情況下，生成相關(guān)且準(zhǔn)確的響應(yīng)。與傳統(tǒng)的通過重新訓(xùn)練或微調(diào) LLM 相比，這種基于提示的方法更加省時(shí)、高效而經(jīng)濟(jì)。

挑戰(zhàn)和注意事項(xiàng)

當(dāng)然，使用生成式 AI 并非沒有挑戰(zhàn)。如果您的組織希望發(fā)揮 GenAI 的潛力，您應(yīng)該牢記以下關(guān)鍵問題。

需要數(shù)據(jù)專業(yè)知識(shí)和強(qiáng)大的計(jì)算能力

生成式模型需要大量資源。首先，您需要訓(xùn)練有素的數(shù)據(jù)科學(xué)家和工程師的專業(yè)知識(shí)。除數(shù)據(jù)組織外，大多數(shù)企業(yè)都沒有具備訓(xùn)練或微調(diào) LLM 所需專業(yè)技能的團(tuán)隊(duì)。

就計(jì)算資源而言，對(duì)模型進(jìn)行全面的數(shù)據(jù)訓(xùn)練可能需要數(shù)周或數(shù)月的時(shí)間，即使您使用功能強(qiáng)大的 GPU 或 TPU 也是如此。盡管微調(diào) LLM 可能不像從頭開始訓(xùn)練那樣需要那么多的計(jì)算能力，但它仍然需要大量的資源。

LLM 的資源密集型訓(xùn)練和微調(diào)使得 RAG 成為一種有吸引力的替代技術(shù)，用于將當(dāng)前（和專有）數(shù)據(jù)與預(yù)訓(xùn)練 LLM 可用的現(xiàn)有數(shù)據(jù)相結(jié)合。

道德考量

生成式 AI 的興起也引發(fā)了對(duì)其開發(fā)和使用所帶來(lái)的道德考量的激烈討論，包括

● 如何確保模型公平和無(wú)偏見

● 防范模型遭受病毒或被篡改等攻擊

● 防止虛假信息的傳播

● 防止濫用生成式 AI（例如深度偽造或生成誤導(dǎo)性信息）

● 保留歸屬

● 提高用戶對(duì)使用生成式 AI 聊天機(jī)器人（而不是與人類進(jìn)行交互）的知情透明度。

不一定非得是GenAI：選擇最適合業(yè)務(wù)的AI工具

生成式 AI 工具的大肆宣傳和新奇感，讓許多人錯(cuò)誤地認(rèn)為生成式 AI 是解決他們所有問題的 AI 工具。然而，雖然生成式 AI 擅長(zhǎng)創(chuàng)建新內(nèi)容，但其他 AI 工具可能更適合某些業(yè)務(wù)任務(wù)。就像堆棧中的任何工具一樣，應(yīng)該權(quán)衡生成式 AI 的優(yōu)勢(shì)與其他工具的優(yōu)勢(shì)。

RAG 特定的挑戰(zhàn)

利用大型語(yǔ)言模型的 RAG 方法非常強(qiáng)大，但也面臨著一系列挑戰(zhàn)。

● 選擇向量數(shù)據(jù)庫(kù)和搜索技術(shù)： RAG 方法的效率最終取決于其快速檢索相關(guān)數(shù)據(jù)的能力。因此，選擇向量數(shù)據(jù)庫(kù)和搜索技術(shù)是影響RAG性能的關(guān)鍵決策。

● 數(shù)據(jù)一致性： 由于 RAG 實(shí)時(shí)提取數(shù)據(jù)，因此確保向量數(shù)據(jù)庫(kù)最新和一致至關(guān)重要。

● 集成復(fù)雜性： 將 RAG 與 LLM 集成會(huì)增加系統(tǒng)的復(fù)雜性。借助 RAG 有效實(shí)施生成式 AI 可能需要專業(yè)知識(shí)。

盡管存在這些挑戰(zhàn)，RAG 為組織提供了一種簡(jiǎn)單而強(qiáng)大的方法，利用其運(yùn)營(yíng)和應(yīng)用程序數(shù)據(jù)來(lái)收集豐富的見解并為關(guān)鍵業(yè)務(wù)決策提供信息。

用于 GenAI 應(yīng)用程序的MongoDB Atlas

我們已經(jīng)了解生成式 AI 的變革性潛力，并且看到了 RAG 對(duì)實(shí)時(shí)數(shù)據(jù)帶來(lái)的增強(qiáng)效果。將這些技術(shù)結(jié)合在一起需要一個(gè)靈活的數(shù)據(jù)平臺(tái)，提供一套為 GenAI 應(yīng)用程序量身定制的功能。對(duì)于涉足生成式 AI 和 RAG 領(lǐng)域的組織來(lái)說，MongoDB Atlas 將改變游戲規(guī)則。

MongoDB Atlas 的核心功能包括：

? 原生向量搜索功能： MongoDB Atlas 內(nèi)置原生向量存儲(chǔ)和搜索功能，可確保 RAG 快速高效地檢索數(shù)據(jù)，而無(wú)需額外的數(shù)據(jù)庫(kù)來(lái)處理向量。

? 統(tǒng)一的 API 和靈活的文檔模型： MongoDB Atlas 的統(tǒng)一 API 允許開發(fā)者將向量搜索與其他查詢功能（例如結(jié)構(gòu)化搜索或文本搜索）相結(jié)合。再加上 MongoDB 的文檔數(shù)據(jù)模型，為您的實(shí)施帶來(lái)了難以置信的靈活性。

? 可擴(kuò)展性、可靠性和安全性： MongoDB Atlas 提供水平擴(kuò)展，可以隨著您（和您的數(shù)據(jù)）的增長(zhǎng)而輕松擴(kuò)展。憑借容錯(cuò)能力和簡(jiǎn)單的水平和垂直擴(kuò)展，MongoDB Atlas 可確保不間斷的服務(wù)，無(wú)論您的工作負(fù)載需求如何。當(dāng)然，MongoDB也展示了它如何通過啟用行業(yè)領(lǐng)先的可查詢數(shù)據(jù)加密來(lái)優(yōu)先考慮安全性。

MongoDB Atlas 對(duì)于簡(jiǎn)化 RAG 增強(qiáng)的 LLM 系統(tǒng)的實(shí)施至關(guān)重要。通過處理生成式 AI 數(shù)據(jù)服務(wù)，MongoDB 簡(jiǎn)化了您構(gòu)建企業(yè)就緒、GenAI 支持的應(yīng)用程序的過程。無(wú)論您希望納入的數(shù)據(jù)是專有數(shù)據(jù)還是最新事件數(shù)據(jù)，MongoDB 都能讓 RAG 方法成為現(xiàn)實(shí)。在最近對(duì) 1500 名受訪者進(jìn)行的 AI 現(xiàn)狀調(diào)查中，MongoDB Atlas Vector Search 在所有向量解決方案中獲得了最高的開發(fā)人員滿意度。

結(jié)論

作為人工智能的一個(gè)子集，生成式 AI 使用經(jīng)過大量現(xiàn)有內(nèi)容訓(xùn)練的模型來(lái)創(chuàng)建新的、獨(dú)特的內(nèi)容，代表了現(xiàn)代技術(shù)的變革性飛躍。然而，為了讓生成式 AI 能夠出色地模仿人類智力和創(chuàng)造力，它必須接受大量高質(zhì)量數(shù)據(jù)的訓(xùn)練。生成式 AI 模型的有效性取決于其訓(xùn)練數(shù)據(jù)的質(zhì)量、數(shù)量和多樣性。

LLM 的可用數(shù)據(jù)受該 LLM 的最后一次訓(xùn)練更新的限制。合并最新數(shù)據(jù)無(wú)法通過模型重新訓(xùn)練或微調(diào)來(lái)完成，因?yàn)橐坏┻@些流程完成，數(shù)據(jù)就已經(jīng)過時(shí)了。這一局限的解決方案是 RAG，它從向量數(shù)據(jù)庫(kù)中查詢最新數(shù)據(jù)，作為提示工程任務(wù)的一部分。RAG 使 LLM 能夠訪問當(dāng)前的相關(guān)信息（包括企業(yè)的專有信息）而無(wú)需進(jìn)行資源密集型的訓(xùn)練或微調(diào)，從而增強(qiáng) LLM 的能力。

為了實(shí)現(xiàn)這一目標(biāo)，許多企業(yè)正在選擇MongoDB Atlas。其原生向量搜索功能，加上統(tǒng)一的 API 和靈活的文檔模型，對(duì)于尋求通過 RAG 方法提取專有數(shù)據(jù)來(lái)增強(qiáng) LLM 的企業(yè)來(lái)說，是一個(gè)有吸引力的選擇。

MongoDB Atlas

MongoDB Atlas 是 MongoDB 公司提供的 MongoDB 云服務(wù)，由 MongoDB 數(shù)據(jù)庫(kù)的開發(fā)團(tuán)隊(duì)構(gòu)建和運(yùn)維，可以在AWS、Microsoft Azure、Google Cloud Platform 云平臺(tái)上輕松部署、運(yùn)營(yíng)和擴(kuò)展。MongoDB Atlas 內(nèi)建了 MongoDB 安全和運(yùn)維最佳實(shí)踐，可自動(dòng)完成基礎(chǔ)設(shè)施的部署、數(shù)據(jù)庫(kù)的構(gòu)建、高可用部署、數(shù)據(jù)的全球分發(fā)、備份等即費(fèi)時(shí)又需要大量經(jīng)驗(yàn)運(yùn)維工作。讓您通過簡(jiǎn)單的界面和 API 就可以完成這些工作，由此您可以將更多寶貴的時(shí)間花在構(gòu)建您的應(yīng)用上。

??點(diǎn)擊訪問 MongoDB中文官網(wǎng)
??立即免費(fèi)試用 MongoDB Atlas
??需要支持？歡迎聯(lián)系我們：400-8662988
?歡迎關(guān)注MongoDB微信訂閱號(hào)（MongoDB-China），及時(shí)獲取最新資訊。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-858799.html

到了這里，關(guān)于生成式AI入門必讀：基本概念、數(shù)據(jù)挑戰(zhàn)與解決方案的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！