來自 Meta 的 Llama 2 基礎(chǔ)模型現(xiàn)已在 Amazon SageMaker JumpStart 中提供。我們可以通過使用 Amazon SageMaker JumpStart 快速部署 Llama 2 模型，并且結(jié)合開源 UI 工具 Gradio 打造專屬 LLM 應(yīng)用。

Llama 2 簡(jiǎn)介

Llama 2 是使用優(yōu)化的 Transformer 架構(gòu)的自回歸語言模型, ?旨在用于英文領(lǐng)域的商業(yè)和研究用途，其 context 長(zhǎng)度是 Llama 1 代的兩倍。目前提供三種參數(shù)規(guī)格（7B、13B 和 70B）的基礎(chǔ)模型。

（來源：https://ai.meta.com/llama/）

使用 SageMaker JumpStart?

簡(jiǎn)化大模型的部署

一站式開發(fā)平臺(tái) Amazon SageMaker，是一個(gè)機(jī)器學(xué)習(xí)（ML）中心，提供預(yù)訓(xùn)練模型、內(nèi)置算法和預(yù)構(gòu)建解決方案，能幫助您快速開始使用機(jī)器學(xué)習(xí)。在 SageMaker JumpStart 中提供了 6 個(gè)版本的 Llama-2 模型。

如果在您的 JumpStart 中沒有看到相關(guān)的模型，請(qǐng)確認(rèn)您使用的區(qū)域是否已支持 Llama 2 （在 JumpStart 模型頁面查詢支持的區(qū)域）以及是否是最新版本的 Studio（可以通過關(guān)閉重啟來更新您的 SageMaker Studio 版本）。

下圖是在 SageMaker 中 Llama 2 的 6 個(gè)模型分別對(duì)應(yīng)的 ID ，默認(rèn)實(shí)例類型，以及每個(gè)模型支持的最大 token 數(shù)，通過 model_id 我們可以便捷地在 SageMaker Notebook 中啟動(dòng)對(duì)應(yīng)的模型。

方案概述

我們將在 SageMaker 上部署 Llama-2-7b-chat 模型, 并使 Gradio 構(gòu)建前端頁面，打造一個(gè)輕量化的聊天助手。

1. 部署模型

在 SageMaker 中可以使用 JumpStart 或者 Notebook 來部署推理節(jié)點(diǎn)，這兩種方式我們都會(huì)展示。

1.1?SageMaker JumpStart 一鍵部署

在 SageMaker Studio 中您可以搜索到對(duì)應(yīng)的模型， 點(diǎn)擊就可以進(jìn)入對(duì)應(yīng)的模型頁面。在這里我們使用了 Llama-2-7b-chat 的模型。

點(diǎn)擊 Deploy 即可以部署相關(guān)模型，部署時(shí)間大約 15 分鐘 – 20 分鐘左右，另外可以通過 Deployment Configuration 修改對(duì)應(yīng)部署的實(shí)例類型。

在部署完成后，您可以看到對(duì)應(yīng)的推理節(jié)點(diǎn)信息。

1.2?使用 SageMaker Notebook 部署

如何您使用了 JumpStart 部署則不需要通過 SageMaker Notebook 部署，直接跳到 2。

（1）設(shè)置模型 ID ，在這里我們選擇了 7b 規(guī)格的 chat 模型

（2）部署指定的模型（meta-textgeneration-llama-2-7b-f）

大約在 15 – 20 分鐘左右您可以部署完成，完成后在 Amazon Website Service 控制臺(tái) SageMaker 頁面中的“終端節(jié)點(diǎn)”標(biāo)簽下，可以看到目前已經(jīng)被啟動(dòng)的推理節(jié)點(diǎn)。

2. 設(shè)置模型的參數(shù)

3. 啟動(dòng) Gradio 與部署完的模型進(jìn)行交互

在執(zhí)行完以后 Gradio 提供了本地的 url 和在 Gradio 上托管的 url 供您使用。

注意，您需要進(jìn)行設(shè)置 custom_attributes=”accept_eula=true”才能成功調(diào)用推理端點(diǎn)。這樣做是確認(rèn)接受 Llama 2 的用戶許可協(xié)議和使用政策。

完整的代碼可以參考鏈接：

https://github.com/tsaol/llama2-on-aws.git。

4. 測(cè)試

打開 Gradio 提供的鏈接，我們會(huì)看到一個(gè)聊天頁面，可以嘗試向 Llama 2 問些問題。

5. 清理和刪除環(huán)境

總結(jié)

本文介紹了如何使用 SageMaker JumpStart 以及 Notebook 部署 Llama 2 模型，結(jié)合 Gradio 輕松構(gòu)建生成式 AI 應(yīng)用?；谕泄芊?wù)的特性讓您無需擔(dān)心底層基礎(chǔ)設(shè)施的搭建與運(yùn)維，同時(shí)擁有良好的開源項(xiàng)目體驗(yàn)。您還可以基于現(xiàn)有的方案進(jìn)一步改造，打造專屬的大模型應(yīng)用。

參考資料

https://aws.amazon.com/cn/about-aws/whats-new/2023/07/llama-2-foundation-models-meta-amazon-sagemaker-jumpstart/

https://dev.amazoncloud.cn/column/article/64bf831469c6a22f966a19f4

https://aws.amazon.com/cn/blogs/machine-learning/llama-2-foundation-models-from-meta-are-now-available-in-amazon-sagemaker-jumpstart/

https://arxiv.org/pdf/2307.09288.pdf

https://www.gradio.app/guides

https://ai.meta.com/llama/

本篇作者

曹鎦

亞馬遜云科技解決方案架構(gòu)師，負(fù)責(zé)企業(yè)信息化方案的咨詢和架構(gòu)設(shè)計(jì)。超過 10 年的研發(fā)經(jīng)驗(yàn)，曾在大型國企和互聯(lián)網(wǎng)獨(dú)角獸任職，并主導(dǎo)百億級(jí)平臺(tái)的技術(shù)架構(gòu)和數(shù)據(jù)架構(gòu)的設(shè)計(jì)與落地。專注數(shù)智融合以及生成式 AI 方向，賦能企業(yè)創(chuàng)新成長(zhǎng)。

聽說，點(diǎn)完下面4個(gè)按鈕

就不會(huì)碰到bug了！

文章來源地址http://www.zghlxwxcb.cn/news/detail-650550.html