Jupyter AI：開源為筆記本電腦引入LLMs

這篇具有很好參考價值的文章主要介紹了Jupyter AI：開源為筆記本電腦引入LLMs。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方，請大家不吝賜教，您也可以點擊"舉報違法"按鈕提交疑問。

關(guān)鍵字: [Amazon Web Services re:Invent 2023, Jupiter AI, Jupiter Ai, Open Source, Language Models, Notebooks, Generate Notebooks]

本文字?jǐn)?shù): 1400, 閱讀完需: 7 分鐘

視頻

如視頻不能正常播放，請前往bilibili觀看本視頻。>> https://www.bilibili.com/video/BV1sb4y1K7CF

導(dǎo)讀

在亞馬遜云科技，我們的開發(fā)人員構(gòu)建了Jupyter AI，這是一個開源項目，用于將 JupyterLab 與生成式 AI 大語言模型 (LLM) 連接起來，例如 Amazon Titan 和 OpenAI 的 gpt-3.5-turbo（用于 ChatGPT）。在本論壇中，探索如何使用這些模型的強(qiáng)大功能，提高效率。從幾個用例中學(xué)習(xí)，包括代碼重構(gòu)、調(diào)試、代碼解釋和回答常見問題，了解 Jupyter AI 如何根據(jù)用戶輸入回答問題，幫助解釋和修復(fù)代碼錯誤，以及學(xué)習(xí)和回答有關(guān)本地數(shù)據(jù)文件的問題。Jupyter AI 在 JupyterCon 2023 上發(fā)布，提供免費(fèi)開源軟件。

演講精華

以下是小編為您整理的本次演講的精華，共1100字，閱讀時間大約是6分鐘。如果您想進(jìn)一步了解演講內(nèi)容或者觀看演講全文，請觀看演講完整視頻或者下面的演講原文。

來自亞馬遜云科技開放源代碼Jupyter團(tuán)隊的Jason和Piyush開始了演講。作為該團(tuán)隊的兩名工程師，他們歡迎與會者的到來，共同探討Jupyter AI的相關(guān)議題。Jason，作為一名擁有近20年經(jīng)驗的資深前端工程師，強(qiáng)調(diào)了他在Jupyter開放式源代碼項目上的角色，并參與了該項目委員會、多樣性、安全等方面的各種工作。他的同事Piyush則介紹了他作為Jupyter開放源代碼團(tuán)隊的高級軟件工程師的身份，并為JupyterLab和LChain等項目做出了貢獻(xiàn)。LChain是一個用于構(gòu)建生成性應(yīng)用程序的開放源代碼框架，這是Jupyter AI的核心部分。

在演講開始后，Jason詢問觀眾們是否曾經(jīng)使用過Jupyter的產(chǎn)品，如JupyterLab、Jupyter Notebook或亞馬遜云科技SageMaker Studio。許多人都舉起了手，這表明人們對于Jupyter在其近20年的歷史中所提供的交互式計算產(chǎn)品的了解非常廣泛。Jupyter作為一個開放源代碼項目起源于Python、R和Julia編程語言，正如其名稱所反映的那樣。但現(xiàn)在，它已經(jīng)通過其靈活的架構(gòu)支持超過300,000個內(nèi)核，幾乎適用于任何語言。基于Jupyter核心開放源代碼棧，像亞馬遜云科技這樣的公司已經(jīng)構(gòu)建了各種商業(yè)產(chǎn)品和服務(wù)。

Jason進(jìn)一步解釋道，Jupyter Notebook允許用戶在瀏覽器中渲染的單個文檔中結(jié)合代碼、輸出、可視化和文本。這使得數(shù)據(jù)分析的圖表和圖形可以與代碼塊和標(biāo)記敘述并行顯示。作為核心Jupyter項目的官方擴(kuò)展，Jupyter AI增加了新功能，同時保持完整的開放源代碼治理和許可。它本身不構(gòu)成新的大型語言模型，而是提供了將現(xiàn)有模型連接到Jupyter Notebook和Lab環(huán)境的接口。用戶甚至可以根據(jù)需要和偏好從Anthropic、Cohere、谷歌等提供商選擇不同的模型。在幕后，Jupyter AI處理提示工程和管理優(yōu)化交互的請求。

供應(yīng)商中立性 - Jupyter AI能夠與多種模型提供商（如亞馬遜云科技Amazon Web Services）、第三方服務(wù)和開源選項共同合作，例如通過利用LangChain等外部庫。隨著LangChain的擴(kuò)展，集成新的模型功能變得更加容易。
透明度 - Jupyter AI生成的代碼包含表示其AI來源的元數(shù)據(jù)標(biāo)簽，旨在提高信任度并防止?jié)撛诘臑E用。
協(xié)作 - 聊天界面可以在共享服務(wù)器上支持多個用戶與同一個上下文和模型進(jìn)行交互。
用戶驅(qū)動 - Jupyter AI僅在用戶明確指示時訪問數(shù)據(jù)，避免了被動掃描代碼或文件的情況。用戶可以控制模型能訪問到的內(nèi)容。
以人類為中心 - 界面基于常見的聊天應(yīng)用程序和Jupyter魔法，為用戶提供自然的體驗，使界面更加熟悉。

為了展示Jupyter AI在實際應(yīng)用中的作用，Jason在他的筆記本電腦上使用了一個本地運(yùn)行的JupyterLab會話來進(jìn)行實時命令操作。他加載了Jupyter AI魔法擴(kuò)展以啟用AI驅(qū)動的魔法。在請求列出提供的模型時，發(fā)現(xiàn)了包括Anthropic、Cohere、Google等提供商以及來自Hugging Face庫的超過300,000個模型的注冊表選項。

選擇Anthropic Claude v1.2模型后，Jason輸入了一個代碼生成提示，以生成一個匯總假設(shè)機(jī)場延誤時間的pandas數(shù)據(jù)框。該模型返回了看似可信的Python代碼，用于生成所需的包含4個機(jī)場和平均延遲時間為10-24分鐘的數(shù)據(jù)框。在經(jīng)過開發(fā)者群體的評估后，確認(rèn)了代碼的質(zhì)量，并將其認(rèn)為是可以添加到生產(chǎn)系統(tǒng)中的方案。接著，Jason展示了如何利用一個提示讓Jupyter AI解釋代碼中的錯誤，該提示包含了完整的錯誤輸出并要求模型用簡單的英語澄清問題。AI助手給出了一個關(guān)于導(dǎo)致錯誤的數(shù)據(jù)類型之間不匹配的清晰解釋，并提出多個解決方案。

在聊天界面上，Jason展示了如何詢問關(guān)于亞馬遜云科技re:Invent期間典型天氣的問題。借助其對會議地點和時間的專業(yè)知識，AI提供了合理的回應(yīng)，表明平均氣溫為65-71°F (18-22°C)，最低氣溫為40多度F (7-8°C)。隨后，他展示了聊天界面如何從筆記本中讀取代碼并以自然語言解釋它。聊天界面甚至能夠響應(yīng)提示并用選定的代碼替換代碼，正如Jason所展示的那樣，他要求將更多的機(jī)場添加到生成的數(shù)據(jù)幀代碼中。

接下來，Piyush接手解釋了并演示了Jupyter AI的一些更高級的功能。"學(xué)習(xí)"命令允許Jupyter AI攝入本地文件，如PDF、文檔或其他非結(jié)構(gòu)化數(shù)據(jù)源，以便在回答問題之前預(yù)存其知識。這避免了僅僅依賴模型現(xiàn)有知識的需要。Jupyter AI會根據(jù)提供的參數(shù)自動處理攝入、嵌入和索引所學(xué)到的數(shù)據(jù)。Piyush通過一個在學(xué)習(xí)內(nèi)容上提問的例子來說明如何使用"學(xué)習(xí)"功能。

最后，Piyush介紹了"生成"功能，該功能可以根據(jù)單個字符提示創(chuàng)建整個筆記本。這是通過向模型發(fā)送一系列異步任務(wù)來實現(xiàn)的，以根據(jù)提示概述筆記本內(nèi)容、生成Markdown、代碼單元格等。Piyush使用該功能創(chuàng)建了一個介紹正則表達(dá)式的筆記本示例。盡管不完美，但Piyush指出，它提供了一個學(xué)習(xí)新主題的好起點。

總的來說，Jason總結(jié)了關(guān)鍵原則，如透明度、協(xié)作和人本設(shè)計，這些原則推動了作為開源項目的Jupyter AI的發(fā)展。他承認(rèn)了來自同事、社區(qū)和Jupyter共同創(chuàng)始人之一Brian Granger的指導(dǎo)和支持。隨著Jupyter AI具有代碼生成、解釋和自動化筆記本創(chuàng)建等功能，Jason和Piyush相信它可以增強(qiáng)交互式計算工作流，以擴(kuò)充人類的能力。他們鼓勵與會者在GitHub上參與該項目,以幫助推動未來的改進(jìn)。

下面是一些演講現(xiàn)場的精彩瞬間：

在亞馬遜云科技re:Invent上，領(lǐng)導(dǎo)者親自向現(xiàn)場和虛擬環(huán)境中的觀眾表示歡迎。