相關(guān)文章

• 

  讀發(fā)布！設(shè)計(jì)與部署穩(wěn)定的分布式系統(tǒng)（第2版）筆記08_自黑與放大

  1.5.4.1.?鎖管理器資源只有一個(gè)，隨著網(wǎng)站橫向擴(kuò)展，鎖管理器會(huì)成為瓶頸，并且最終會(huì)成為風(fēng)險(xiǎn) 1.5.4.2.?如果一個(gè)熱門項(xiàng)目被無意修改，最終就可能會(huì)導(dǎo)致數(shù)以百計(jì)的服務(wù)器上出現(xiàn)數(shù)千個(gè)請(qǐng)求處理的線程，都在排隊(duì)等待該項(xiàng)目的寫入鎖 5.7.1.1.?廣播能夠應(yīng)對(duì)服務(wù)器數(shù)量的不斷

  2024年02月10日

  瀏覽(56)
• 

  LLMs開源模型們的分布式訓(xùn)練和量化

  前一篇博文整理了： LLMs開源模型們和數(shù)據(jù)集簡(jiǎn)介 這篇博文主要整理一下目前流行的訓(xùn)練方法和量化。 （圖自Towards a Unified View of Parameter-Efficient Transfer Learning） 使通用LLMs適應(yīng)下游任務(wù)的最常見方法是微調(diào)所有模型參數(shù)或微調(diào)尾層參數(shù)（Freeze）。然而這會(huì)導(dǎo)致每個(gè)任務(wù)都有一

  2024年02月07日

  瀏覽(50)

• 如何借助分布式存儲(chǔ) JuiceFS 加速 AI 模型訓(xùn)練

  傳統(tǒng)的機(jī)器學(xué)習(xí)模型，數(shù)據(jù)集比較小，模型的算法也比較簡(jiǎn)單，使用單機(jī)存儲(chǔ)，或者本地硬盤就足夠了，像 JuiceFS 這樣的分布式存儲(chǔ)并不是必需品。 隨著近幾年深度學(xué)習(xí)的蓬勃發(fā)展，越來越多的團(tuán)隊(duì)開始遇到了單機(jī)存儲(chǔ)的瓶頸，分布式存儲(chǔ)在 AI 領(lǐng)域的重要性不斷凸顯。AI 團(tuán)

  2023年04月26日

  瀏覽(29)

• TensorFlow 高級(jí)技巧：自定義模型保存、加載和分布式訓(xùn)練

  本篇文章將涵蓋 TensorFlow 的高級(jí)應(yīng)用，包括如何自定義模型的保存和加載過程，以及如何進(jìn)行分布式訓(xùn)練。 在 TensorFlow 中，我們可以通過繼承 tf.train.Checkpoint 來自定義模型的保存和加載過程。 以下是一個(gè)例子： TensorFlow 提供了 tf.distribute.Strategy API，讓我們可以在不同的設(shè)備

  2024年02月15日

  瀏覽(30)

• LLM-分布式訓(xùn)練工具（一）：DeepSpeed【微軟】【大模型分布式訓(xùn)練工具，實(shí)現(xiàn)ZeRO并行訓(xùn)練算法】【zero3配置將模型參數(shù)切分后分配到不同的顯卡中，突破單張顯卡容量不足以加載模型參數(shù)的限制】

  DeepSpeed是微軟推出的大規(guī)模模型分布式訓(xùn)練的工具，主要實(shí)現(xiàn)了ZeRO并行訓(xùn)練算法。 原始文檔鏈接： DeepSpeed Optimizer state partitioning (ZeRO stage 1) Gradient partitioning (ZeRO stage 2) Parameter partitioning (ZeRO stage 3) Custom mixed precision training handling A range of fast CUDA-extension-based optimizers ZeRO-Offlo

  2024年02月16日

  瀏覽(23)
• 

  機(jī)器學(xué)習(xí)洞察 | 分布式訓(xùn)練讓機(jī)器學(xué)習(xí)更加快速準(zhǔn)確

  機(jī)器學(xué)習(xí)能夠基于數(shù)據(jù)發(fā)現(xiàn)一般化規(guī)律的優(yōu)勢(shì)日益突顯，我們看到有越來越多的開發(fā)者關(guān)注如何訓(xùn)練出更快速、更準(zhǔn)確的機(jī)器學(xué)習(xí)模型，而分布式訓(xùn)練 (Distributed Training) 則能夠大幅加速這一進(jìn)程。 亞馬遜云科技開發(fā)者社區(qū)為開發(fā)者們提供全球的開發(fā)技術(shù)資源。這里有技術(shù)文檔

  2024年02月16日

  瀏覽(24)
• 

  用通俗易懂的方式講解大模型分布式訓(xùn)練并行技術(shù)：MOE并行

  前面的文章中講述了數(shù)據(jù)并行、流水線并行、張量并行、序列并行、自動(dòng)并行等多種并行技術(shù)。但現(xiàn)在的模型越來越大，訓(xùn)練樣本越來越多，每個(gè)樣本都需要經(jīng)過模型的全部計(jì)算，這就導(dǎo)致了訓(xùn)練成本的平方級(jí)增長(zhǎng)。 而當(dāng)我們希望在犧牲極少的計(jì)算效率的情況下，把模型規(guī)模

  2024年02月02日

  瀏覽(29)

• 在Kubernetes上部署分布式深度學(xué)習(xí)訓(xùn)練平臺(tái)

  作者：禪與計(jì)算機(jī)程序設(shè)計(jì)藝術(shù) 1.1 什么是深度學(xué)習(xí)？ 1.2 為什么需要深度學(xué)習(xí)？ 1.3 深度學(xué)習(xí)平臺(tái)架構(gòu)圖 # 2.基本概念術(shù)語說明 2.1 Kubernetes 2.2 GPU 2.3 MPI # 3.核心算法原理和具體操作步驟以及數(shù)學(xué)公式講解 3.1 數(shù)據(jù)加載流程 3.2 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì) 3.3 激活函數(shù)設(shè)計(jì) 3.4 損失函數(shù)設(shè)計(jì) 3

  2024年02月07日

  瀏覽(25)

• 【深入了解PyTorch】PyTorch分布式訓(xùn)練：多GPU、數(shù)據(jù)并行與模型并行

  在深度學(xué)習(xí)領(lǐng)域，模型的復(fù)雜性和數(shù)據(jù)集的巨大規(guī)模使得訓(xùn)練過程變得極具挑戰(zhàn)性。為了加速訓(xùn)練過程，利用多個(gè)GPU進(jìn)行并行計(jì)算是一種常見的方法。PyTorch作為一種流行的深度學(xué)習(xí)框架，提供了強(qiáng)大的分布式訓(xùn)練工具，使得多GPU、數(shù)據(jù)并行和模型并行等技術(shù)變得更加容易實(shí)現(xiàn)

  2024年02月12日

  瀏覽(25)
• 

  【深度學(xué)習(xí)】【分布式訓(xùn)練】Collective通信操作及Pytorch示例

  相關(guān)博客 【Megatron-DeepSpeed】張量并行工具代碼mpu詳解(一)：并行環(huán)境初始化 【Megatron-DeepSpeed】張量并行工具代碼mpu詳解(二)：Collective通信操作的封裝mappings 【深度學(xué)習(xí)】【分布式訓(xùn)練】DeepSpeed：AllReduce與ZeRO-DP 【深度學(xué)習(xí)】混合精度訓(xùn)練與顯存分析 【深度學(xué)習(xí)】【分布式訓(xùn)練

  2023年04月13日

  瀏覽(22)