基于Amazon Bedrock的企業(yè)級(jí)生成式AI平臺(tái)

• 2023.12.2
• 版權(quán)聲明：本文為博主chszs的原創(chuàng)文章，未經(jīng)博主允許不得轉(zhuǎn)載。

Amazon Bedrock 是一項(xiàng)新的 AWS 服務(wù)，可讓企業(yè)通過 API 輕松利用和自定義生成式 AI 模型。公司現(xiàn)在可以構(gòu)建和擴(kuò)展人工智能應(yīng)用程序，而無需管理運(yùn)行這些模型本身所需的復(fù)雜基礎(chǔ)設(shè)施和維護(hù)。Amazon Bedrock 充當(dāng)“基礎(chǔ)模型即服務(wù)(Foundation Models as a Service)”平臺(tái)，客戶可以在其中探索開源和專有模型，以找到最適合其需求的模型。一個(gè)關(guān)鍵的好處是無服務(wù)器體驗(yàn)(serverless experience)，它簡化了使用公司自己的數(shù)據(jù)定制基礎(chǔ)模型的過程。然后可以使用組織基礎(chǔ)設(shè)施內(nèi)的其他 AWS 工具無縫集成和部署定制模型?？傮w而言，Bedrock 的目標(biāo)是通過消除模型管理和基礎(chǔ)設(shè)施復(fù)雜性的障礙，使生成式人工智能的利用變得更容易。

AWS Bedrock 通過提供對文本和圖像的高質(zhì)量基礎(chǔ)模型的便捷訪問，幫助組織更輕松地采用生成式 AI。它提供來自多個(gè)供應(yīng)商的開源和專有模型，包括亞馬遜自己的 Titan 模型。這減輕了企業(yè)自行進(jìn)行供應(yīng)商評估的需要，因?yàn)閬嗰R遜在其基礎(chǔ)設(shè)施上運(yùn)行所有內(nèi)容。通過處理安全性、合規(guī)性和模型服務(wù)，Bedrock 消除了公司采用生成式 AI 的關(guān)鍵障礙。他們不再需要構(gòu)建和維護(hù)自己的模型基礎(chǔ)設(shè)施和功能。相反，Bedrock 允許他們通過簡單的 API 利用強(qiáng)大的生成模型，而無需擔(dān)心潛在的復(fù)雜性。

AWS Bedrock 通過以下方式降低了企業(yè)采用開源和商業(yè)生成式 AI 的障礙：

1. 只需使用 Amazon S3 中的幾個(gè)標(biāo)記示例即可輕松微調(diào)現(xiàn)有開源或封閉基礎(chǔ)模型，無需大規(guī)模數(shù)據(jù)注釋或構(gòu)建數(shù)據(jù)管道。這簡化了定制并加快了新的基于人工智能的應(yīng)用程序的開發(fā)。
2. 提供無服務(wù)器、可擴(kuò)展、可靠且安全的托管服務(wù)，讓客戶保持對其數(shù)據(jù)的完全控制和治理以進(jìn)行定制。內(nèi)置模型訪問系統(tǒng)允許管理員控制模型使用，支持強(qiáng)大的人工智能治理。
3. 通過 API 與 AWS SageMaker、Lambda、EKS、ECS 和其他 AWS 服務(wù)（例如 EC2）集成，以便開發(fā)人員可以輕松構(gòu)建、擴(kuò)展和部署 AI 應(yīng)用程序，而無需管理基礎(chǔ)設(shè)施或高級(jí) LLM 部署流程。

總之，Bedrock 通過簡化定制、與 AWS 無縫集成以及為企業(yè)提供對其數(shù)據(jù)和模型的完全控制、治理和安全性，加速了生成式 AI 的采用。這可以降低利用生成式人工智能功能時(shí)的風(fēng)險(xiǎn)和實(shí)現(xiàn)價(jià)值的時(shí)間。

Amazon Bedrock 服務(wù)演練

登錄AWS控制臺(tái)后，我們需要輸入Amazon Bedrock來加載服務(wù)。

目前，在撰寫本文之前，Bedrock 僅在少數(shù)地區(qū)可用，并且他們正在不斷向列表中添加新地區(qū)。在這里，我將選擇美國東部（北弗吉尼亞州）。

選擇支持的區(qū)域后，Amazon Bedrock 的控制臺(tái)將打開。

這是 Amazon Bedrock 的儀表板，可讓您使用模型或控制其他用戶對模型的訪問。由于我使用 root 用戶帳戶登錄，儀表板向我顯示了作為管理員 root 用戶的所有功能和控件。右側(cè)面板顯示了許多知名的 LLM 或 FM 供應(yīng)商，例如 AI21 Amazon 或 Anthropic。右側(cè)面板顯示了各種游樂場(playgrounds)，人們可以通過注入提示來試驗(yàn)?zāi)Ｐ图捌湫袨椤?/p>

其中重要的環(huán)節(jié)之一是“模型訪問(Model Access)”，它提供了控制模型訪問的能力。您可以單擊鏈接訪問模型訪問庫。

模型訪問儀表板顯示供應(yīng)商 Amazon Bedrock 目前已配置的所有模型。其中一些模型，例如 Anthropic 的 Claude 模型，如果您想訪問它們，則需要填寫一份很長的表格。其余的都非常簡單。您需要單擊按鈕來管理模型訪問，該按鈕會(huì)顯示一個(gè)可編輯的清單來控制訪問。



提交“保存更改”按鈕后，訪問狀態(tài)將更改為“進(jìn)行中(In Progress)”。有時(shí)，您需要等待一個(gè)多小時(shí)或一天以上，具體取決于您請求訪問的模型類型和您的帳戶類型。

AWS 授予對您請求的模型的訪問權(quán)限后，狀態(tài)將更改為“已授予訪問權(quán)限(Access Granted)”。現(xiàn)在，您可以使用 API 將模型集成到您自己的應(yīng)用程序中。

我們可以返回原始儀表板并單擊“文本(Text)”鏈接來調(diào)用文本生成游樂場，在這里我們可以通過從下拉列表中選擇供應(yīng)商和相應(yīng)的模型來使用一些提示工程來評估模型。還可以通過更改右側(cè)面板中顯示的配置來自定義模型的響應(yīng)。“溫度(temperature)”元素決定模型的輸出。溫度值越高，模型的響應(yīng)就越有創(chuàng)意或動(dòng)態(tài)。如果該值為零，則您可以期望模型對特定提示或問題或 NLP 任務(wù)產(chǎn)生相同的靜態(tài)響應(yīng)。

現(xiàn)在，在游樂場上，我們將探索使用相同的文本提示工程來玩不同的模型。首先，我們將探索供應(yīng)商 AI21 Labs 的 Jurassic 模型的輸出。我們在MQTT（物聯(lián)網(wǎng)設(shè)備中使用的通信模式）上輸入文本，然后要求模型向 12 歲的人解釋 MQTT。綠色文本輸出是模型 Jurrasic -2 Ultra 生成的文本，溫度為 0.7

如果單擊底部的“查看 API 請求(View API request)”按鈕，它將顯示 Playground 控制臺(tái)發(fā)送到基礎(chǔ)模型的 API 請求。

Cohere 命令模型的響應(yīng)：

Context: MQTT, or Message Queuing Telemetry Transport, is a messaging protocol for the Internet of Things (IoT). It's a set of rules that defines how IoT devices can publish and subscribe to data over the internet. MQTT is used for machine-to-machine communication. It's lightweight and can be used in cases where clients need a small code footprint and are connected to unreliable networks or networks with limited bandwidth resources. 
Explain MQTT to a 12-year-old person.

MQTT is like a secret club for machines where they can all talk to each other and share cool stuff. You know how people use social media to post pictures and updates, and others can follow or see those posts if they're interested? MQTT is like that, but for machines.
Imagine you have a cool new gadget, like a smart watch or a smart home device. These gadgets can do amazing things, like track your steps, control your lights, or even order you a pizza! But for them to do those things, they need to talk to other machines. That's where MQTT comes in.
MQTT is like a special set of rules that these machines use to talk to each other over the internet. They can send messages to each other, kind of like sending emails or texts, but these messages are super fast and efficient. And just like you might subscribe to a celebrity's social media account to see all their posts, these machines can subscribe to messages that are important to them.
The best part is that MQTT is really lightweight, which means it doesn't use a lot of computer power or take up a lot of space. This is important because sometimes these machines don't have a lot of power or they're in places where the internet connection isn't very good. MQTT is designed to work even in these tough conditions.
So, think of MQTT as a secret club where machines can talk, share messages, and work together to make our lives easier and more fun. It's like a behind-the-scenes hero that helps all our cool gadgets work together!

我嘗試使用 Meta 中的 LLama2 模型，但不斷收到錯(cuò)誤。看來亞馬遜仍在努力穩(wěn)定局面。

我們將探索 Sytable Diffusion 模型，它使用基于文本的提示來生成圖像。

API請求是：

aws bedrock-runtime invoke-model \
--model-id stability.stable-diffusion-xl-v0 \
--body "{\"text_prompts\":[{\"text\":\"highly detailed Albert Einstein with bubble tea in hands epic laboratory office, shelves with detailed items in background\"}],\"cfg_scale\":10,\"seed\":0,\"steps\":50}" \
--cli-binary-format raw-in-base64-out \
--region us-east-1 \
invoke-model-output.txt

由于 Amazon Bedrock 作為無服務(wù)器組件運(yùn)行，因此與該平臺(tái)的集成是真正的無服務(wù)器。基礎(chǔ)模型可通過 REST API 訪問以供下游使用，并且 AWS 提供 Bedrock SDK 客戶端，任何應(yīng)用程序都可以利用該客戶端連接到 Amazon Bedrock。文章來源地址http://www.zghlxwxcb.cn/news/detail-767909.html

到了這里，關(guān)于基于Amazon Bedrock的企業(yè)級(jí)生成式AI平臺(tái)的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！