国产无码综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

用 7 行代碼在本地運行 Llama 2！（蘋果silicon-mac m1 m2）項目源碼含模型

2年前作者：知識大胖分類：Toy博客閱讀(23)違法舉報

這篇具有很好參考價值的文章主要介紹了用 7 行代碼在本地運行 Llama 2?。ㄌO果silicon-mac m1 m2）項目源碼含模型。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方，請大家不吝賜教，您也可以點擊"舉報違法"按鈕提交疑問。

用 7 行代碼在本地運行 Llama 2！（蘋果silicon-mac m1 m2）項目源碼含模型,SwiftUI源碼大全,NVIDIA GPU和大語言模型開發(fā)教程,llama,macos
總而言之：

xcode-select --install # Make sure git & clang are installed
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
curl -L https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGML/resolve/main/llama-2-7b-chat.ggmlv3.q4_K_M.bin --output ./models/llama-2-7b-chat.ggmlv3.q4_K_M.bin 
LLAMA_METAL=1 make
./main -m ./models/llama-2-7b-chat.ggmlv3.q4_K_M.bin -n 1024 -ngl 1 -p "Give me a list of things to do in NYC"

注意：7B 型號重量約為 4GB，請確保您的機器上有足夠的空間。

這是在做什么？

這是使用 Georgi Gerganov 令人驚嘆的llama.cpp項目來運行 Llama 2。它通過TheBloke的 Huggingface 存儲庫為 Llama 7B Chat 下載一組 4 位優(yōu)化的權重，將其放入 llama.cpp 中的模型目錄中，然后使用 Apple 的 Metal 優(yōu)化構(gòu)建 llama.cpp。

這允許您以最少的工作在本地運行 Llama 2。7B 權重應該適用于具有 8GB RAM 的機器（如果您有 16GB 則更好）。13B 或 70B 等較大型號將需要更多的 RAM。

請注意，Llama 2文章來源地址http://www.zghlxwxcb.cn/news/detail-613229.html

到了這里，關于用 7 行代碼在本地運行 Llama 2?。ㄌO果silicon-mac m1 m2）項目源碼含模型的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來自互聯(lián)網(wǎng)用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。如若轉(zhuǎn)載，請注明出處：如若內(nèi)容造成侵權/違法違規(guī)/事實不符，請點擊違法舉報進行投訴反饋，一經(jīng)查實，立即刪除！

分享到：

領支付寶紅包贊助服務器費用

蘋果mac m1,m2芯片安裝 pytorch和tensorflow的GPU版本
1.安裝 Xcode 2.創(chuàng)建環(huán)境 3.打開pytorch官網(wǎng)復制命令,?注意:在mac m上，device是’mps’ 而不是’cuda’, mac的MPS支持MacOS 12.3+ ?4.測試 1.安裝 Xcode 2.創(chuàng)建環(huán)境 3. 安裝conda install -c apple tensorflow-deps ?4.Install base TensorFlow 5.??Install tensorflow-metal plug-in ?6.驗證 7.完成，附上我安裝完pytorch和
2024年02月13日
瀏覽(26)
怎么在M1蘋果電腦上玩Steam中的游戲蘋果電腦怎么安裝Windows mac電腦游戲 Steam有什么好玩的游戲 CrossOver For Mac
Steam是一款目前全球較大的綜合性數(shù)字游戲軟件發(fā)行平臺。玩家可以在該平臺購買游戲、軟件、下載、討論、上傳、分享。今天就要給大家介紹一下怎么在蘋果M1芯片電腦上安裝運行Steam。第一步我們需要安裝CrossOver For Mac這款類虛擬機軟件，各位小伙伴們可以在CrossOver中文網(wǎng)
2024年04月10日
瀏覽(24)
[Mac軟件]Adobe After Effects 2023 v23.5 中文蘋果電腦版(支持M1)
After Effects是動畫圖形和視覺效果的行業(yè)標準。由運動設計師、平面設計師和視頻編輯用于創(chuàng)建復雜的動畫圖形和視覺上吸引人的視頻。創(chuàng)建動畫圖形使用預設樣式為文本和圖形添加動畫效果，或逐幀調(diào)整它們。編輯、添加深度、制作動畫或轉(zhuǎn)換為可編輯的路徑，以獲得更獨
2024年02月11日
瀏覽(24)
【ollama】（2）：在linux搭建環(huán)境，編譯ollama代碼，測試qwen大模型，本地運行速度飛快，本質(zhì)上是對llama.cpp 項目封裝
https://github.com/ollama/ollama/tree/main/docs https://www.bilibili.com/video/BV1oS421w7aM/ 【ollama】（2）：在linux搭建環(huán)境，編譯ollama代碼，測試qwen大模型，本地運行速度飛快，本質(zhì)上是對llama.cpp 項目封裝要是失敗執(zhí)行，子模塊更新：需要編譯 llama.cpp 的代碼，然后經(jīng)過漫長的編譯，就而可以
2024年04月08日
瀏覽(28)
Mac 蘋果電腦關閉代理sip萬能方法（M1M2適用）針對csrutil disable失效情況
1、關閉電腦（不要選擇重新啟動，直接關機） 2、長按開機鍵，不要松掉，出現(xiàn)聲音也不要松，直到出現(xiàn)HD盤和選項設置后松開，點擊選項，點擊繼續(xù) 3.進入用戶界面，輸入密碼，等待跳轉(zhuǎn)下一個界面 4.上排小字，選擇實用工具，終端 5.在終端輸入【csrutil disable】（回車），
2024年04月14日
瀏覽(22)
XZ_iOS 之 M1 M2 M3的M系列芯片的Mac蘋果電腦安裝cocoapods
安裝的前提，應用程序-終端-右鍵-顯示簡介-勾選使用Rosetta打開，如下圖，然后重啟終端安裝的順序如下：Homebrew-rvm-ruby-cocoapods 1、安裝Homebrew 安裝的時候報了以下錯誤，然后我打開了VPN，就很順滑的安裝了 fatal: unable to access \\\'https://github.com/Homebrew/brew/\\\': Failed to connect to gith
2024年01月18日
瀏覽(21)
Mac(M1/M2)通過wine運行windows程序
? 雙擊文件解壓縮，就得到了一個Wineskin Winery.app 再把這個app拖到應用程序文件夾（最后拖到個人應用程序文件夾） ? ?然后打開這個應用（右鍵打開，會提示可能是惡意軟件，點確定打開） ? ?在這個界面點+號，再點下載和安裝? ? ?點OK 然后可能下載一段時間，耐心等待
2024年02月09日
瀏覽(38)
mac蘋果電腦m1 mbp 缺電自動關機后，日期時間無法同步；自動同步日期和時間錯誤，到一個固定的日期時間
現(xiàn)為mac蘋果電腦上，只要選取自動同步日期和時間，就會同步到一個很早之前的固定日期（現(xiàn)在是2023年1月，會同步到2021年的12月），很奇怪。網(wǎng)上各種方法，下面的內(nèi)容是唯一能起作用的。在https://www.v2ex.com/t/856623的基礎上進行修改完善，供大家參考。解決辦法：刪除 /
2024年02月03日
瀏覽(20)
Mac(M1Pro)下運行ChatGLM2
? ? ? 最近很多人都嘗試在M1/M2芯片下跑chatglm/chatglm2，結(jié)果都不太理想，或者是說要32G內(nèi)存才可以運行。本文使用cpu基于chatglm-cpp運行chatglm2的int4版本。開了多個網(wǎng)頁及應用的情況下（包括chatglm2)，總體內(nèi)存占用9G左右。chatglm2可以流暢的運行了。虛擬環(huán)境為python 3.10，使用c
2024年02月13日
瀏覽(17)
mac M1 arm芯片進行docker rocketMq 本地部署（親測可用）
由于mac arm芯片的問題，導致隨便拉取鏡像會出現(xiàn)AMD64的警告，如果不想出現(xiàn)則可以 git clone?https://github.com/apache/rocketmq-docker.git?拉代碼自己編譯鏡像下面是根據(jù)別人已經(jīng)上傳的鏡像進行的本地部署操作下面兩個鏡像都是某位老哥打包的，測試無問題注意：?runserver.sh，runbr
2024年02月12日
瀏覽(21)

^{<rp id="dw5q1"></rp>}