本文來自DataLearnerAI官方網(wǎng)站：重磅！蘋果官方發(fā)布大模型框架：一個可以充分利用蘋果統(tǒng)一內(nèi)存的新的大模型框架MLX，你的MacBook可以一鍵運行LLaMA了 | 數(shù)據(jù)學習者官方網(wǎng)站(Datalearner)https://www.datalearner.com/blog/1051701871117729

蘋果剛剛發(fā)布了一個全新的機器學習礦機MLX，這是一個類似NumPy數(shù)組的框架，目的是可以在蘋果的芯片上更加高效地運行各種機器學習模型，當然最主要的目的是大模型。

MLX框架簡介

根據(jù)官方的介紹，MLX的設(shè)計受到PyTorch、Jax和ArrayFile的啟發(fā)，目的是設(shè)計一個對用戶極其友好，但同時在訓練和部署上也非常高效的框架。所以，它的接口你會非常熟悉，因為它的Python接口與NumPy很相似，而它的神經(jīng)網(wǎng)絡(luò)模型的接口和PyTorch非常類似。所以如果此前你使用Python編寫相關(guān)模型代碼，幾乎是沒有障礙的使用和切換。

MLX的關(guān)鍵特性如下：

熟悉的API：MLX 有一個 Python API，緊密遵循 NumPy。MLX 還有一個功能齊全的 C++ API，與 Python API 非常相似。MLX 擁有像mlx.nn和?mlx.optimizers這樣的高級包，其 API 緊密遵循 PyTorch，以簡化構(gòu)建更復雜的模型。

可組合的函數(shù)轉(zhuǎn)換：MLX 具有可組合的函數(shù)轉(zhuǎn)換，用于自動微分、自動向量化和計算圖優(yōu)化。

延遲計算：MLX 中的計算是延遲的。數(shù)組僅在需要時才實體化。

動態(tài)圖構(gòu)建：MLX 中的計算圖是動態(tài)構(gòu)建的。更改函數(shù)參數(shù)的形狀不會觸發(fā)緩慢的編譯，調(diào)試簡單直觀。

多設(shè)備：操作可以在任何支持的設(shè)備上運行（目前是 CPU 和 GPU）。

統(tǒng)一內(nèi)存：MLX 與其他框架的一個顯著區(qū)別是統(tǒng)一內(nèi)存模型。MLX 中的數(shù)組存在于共享內(nèi)存中。對 MLX 數(shù)組的操作可以在任何支持的設(shè)備類型上執(zhí)行，無需移動數(shù)據(jù)。

從上面的描述中可以看到，MLX與其它框架的最大的不同點是可以充分使用蘋果的統(tǒng)一內(nèi)存來計算，而不需要搬運數(shù)據(jù)。關(guān)于統(tǒng)一內(nèi)存架構(gòu)相比顯存和內(nèi)存的方式運行大模型參考：https://www.datalearner.com/blog/1051698716733526M3系列芯片是蘋果最新發(fā)布的芯片。也是當前蘋果性能最好的芯片。由于蘋果的統(tǒng)一內(nèi)存架構(gòu)以及它的超大內(nèi)存，此前很多人發(fā)現(xiàn)可以使用蘋果的電腦來運行大語言模型。盡管它的運行速度不如英偉達最先進的顯卡，但是由于超大的內(nèi)存（顯存），它可以載入非常大規(guī)模的模型。而此次的M3芯片效果如何，本文做一個簡單的分析。https://www.datalearner.com/blog/1051698716733526

?

目前MLX支持的模型和使用方式

從官方的示例看，蘋果的MLX框架完成度很高，它支持transformer架構(gòu)模型的訓練、當前預訓練模型如何LLaMA的推理、基于LoRA的高效參數(shù)微調(diào)、支持載入使用多模態(tài)大模型Stable Diffusion和Whisper等。

此外，MLX還有個配套框架教MLX Data，這是一個不依賴特定框架的數(shù)據(jù)加載庫，可以與PyTorch、Jax 或 MLX 一起使用。MLX Data數(shù)據(jù)加載庫的目標是高效但同時也具有靈活性，例如能夠每秒加載和處理數(shù)千張圖片，同時也能在生成的批次上運行任意 Python 轉(zhuǎn)換。這個庫的推出很有可能與蘋果的統(tǒng)一內(nèi)存數(shù)據(jù)的使用有關(guān)，有了它應(yīng)該可以更加高效地在蘋果設(shè)備上讀寫數(shù)據(jù)。

關(guān)于MLX的實測和開源情況參考DataLearnerAI的原文：重磅！蘋果官方發(fā)布大模型框架：一個可以充分利用蘋果統(tǒng)一內(nèi)存的新的大模型框架MLX，你的MacBook可以一鍵運行LLaMA了 | 數(shù)據(jù)學習者官方網(wǎng)站(Datalearner)文章來源地址http://www.zghlxwxcb.cn/news/detail-757695.html

到了這里，關(guān)于重磅！蘋果官方發(fā)布大模型框架：一個可以充分利用蘋果統(tǒng)一內(nèi)存的新的大模型框架MLX，你的MacBook可以一鍵運行LLaMA了的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！