相關(guān)文章

• 

  Mistral 7B 比Llama 2更好的開源大模型 （三）

  Mistral 7B 比Llama 2更好的開源大模型 Mistral 7B是一個(gè)70億參數(shù)的語(yǔ)言模型，旨在獲得卓越的性能和效率。Mistral 7B在所有評(píng)估的基準(zhǔn)測(cè)試中都優(yōu)于最好的開放13B模型（Llama 2），在推理、數(shù)學(xué)和代碼生成方面也優(yōu)于最好的發(fā)布34B模型（Llama 1）。Mistral 7B模型利用分組查詢注意力（G

  2024年02月05日

  瀏覽(23)
• 

  Gemma谷歌(google)開源大模型微調(diào)實(shí)戰(zhàn)(fintune gemma-2b/7b)

  Gemma-SFT(谷歌, Google), gemma-2b/gemma-7b微調(diào)(transformers)/LORA(peft)/推理 v1, 20240222, transformers==4.38.0時(shí)候, 微調(diào)只跑通了gemma-2b-it(因?yàn)橹挥?jì)算了output的loss, 且使用的是fp16), 同時(shí)該版本transformers實(shí)現(xiàn)有些問(wèn)題, 比如說(shuō)1.tokenizer要加bos, 2.RoPE計(jì)算精度問(wèn)題(float32), 3.激活函數(shù)gelu_pytorch_tanh; v2,

  2024年04月11日

  瀏覽(22)
• 

  基于Truss＋Docker＋Kubernetes把開源模型Falcon-7B送上云端（譯）

  到目前為止，我們已經(jīng)看到了ChatGPT的能力及其所能提供的強(qiáng)大功能。然而，對(duì)于企業(yè)應(yīng)用來(lái)說(shuō)，像ChatGPT這樣的封閉源代碼模型可能會(huì)帶來(lái)風(fēng)險(xiǎn)，因?yàn)槠髽I(yè)自身無(wú)法控制他們的數(shù)據(jù)。盡管OpenAI公司聲稱用戶數(shù)據(jù)不會(huì)被存儲(chǔ)或用于訓(xùn)練模型，但是這并不能保證數(shù)據(jù)不會(huì)以某種方

  2024年02月15日

  瀏覽(22)
• 

  Meta AI發(fā)布SeamlessM4T模型，支持轉(zhuǎn)錄和翻譯近100種語(yǔ)言｜已開源

  Meta AI 近期的重磅動(dòng)作頻頻不斷，短短一個(gè)多月的時(shí)間接連發(fā)布了一系列開源大模型，下面我們看看都有哪些有影響力的產(chǎn)品。 2023 年 7 月 14 日 Meta AI 隆重推出 CM3leon，這是一款首個(gè)多模態(tài)模型，可實(shí)現(xiàn)最先進(jìn)的文本到圖像生成性能，計(jì)算效率是競(jìng)爭(zhēng)模型的 5 倍。 2023 年 7 月

  2024年02月11日

  瀏覽(15)
• 

  【AIGC】BaiChuan7B開源大模型介紹、部署以及創(chuàng)建接口服務(wù)

  baichuan-7B 是由百川智能開發(fā)的一個(gè)開源的大規(guī)模預(yù)訓(xùn)練模型。基于Transformer結(jié)構(gòu)，在大約1.2萬(wàn)億tokens上訓(xùn)練的70億參數(shù)模型，支持中英雙語(yǔ)，上下文窗口長(zhǎng)度為4096。在標(biāo)準(zhǔn)的中文和英文權(quán)威benchmark（C-EVAL/MMLU）上均取得同尺寸最好的效果。 huggingface github 系統(tǒng)：centos7.8.2003 GPU：

  2024年02月09日

  瀏覽(21)

• AI大模型參數(shù)介紹中的5B、7B是何意？

  AIGC大模型參數(shù)的5B、7B是指模型中可訓(xùn)練參數(shù)的數(shù)量。這里的 “B”表示10億（Billion），即10^9 。因此，5B表示50億個(gè)可訓(xùn)練參數(shù)，7B表示70億個(gè)可訓(xùn)練參數(shù)。這些參數(shù)是神經(jīng)網(wǎng)絡(luò)中的權(quán)重和偏置，它們?cè)谟?xùn)練過(guò)程中通過(guò)反向傳播算法進(jìn)行更新，以使模型能夠更好地?cái)M合訓(xùn)練數(shù)據(jù)

  2024年02月04日

  瀏覽(18)

• 開源模型應(yīng)用落地-qwen1.5-7b-chat-LoRA微調(diào)（二）

  ????????預(yù)訓(xùn)練模型提供的是通用能力，對(duì)于某些特定領(lǐng)域的問(wèn)題可能不夠擅長(zhǎng)，通過(guò)微調(diào)可以讓模型更適應(yīng)這些特定領(lǐng)域的需求，讓它更擅長(zhǎng)解決具體的問(wèn)題。 ? ? ? ? 本篇是開源模型應(yīng)用落地-qwen-7b-chat-LoRA微調(diào)（一）進(jìn)階篇，學(xué)習(xí)通義千問(wèn)最新1.5系列模型的微調(diào)方式

  2024年04月09日

  瀏覽(31)

• 開源模型應(yīng)用落地-qwen1.5-7b-chat-LoRA微調(diào)代碼拆解

  ? ? 本篇文章將解析 QWen1.5 系列模型的微調(diào)代碼，幫助您理解其中的關(guān)鍵技術(shù)要點(diǎn)。通過(guò)閱讀本文，您將能夠更好地掌握這些關(guān)鍵技術(shù)，并應(yīng)用于自己的項(xiàng)目中。 ? ??開源模型應(yīng)用落地-qwen1.5-7b-chat-LoRA微調(diào)（二） ? ? LoRA (Low-Rank Adaptation) 用于微調(diào)大型語(yǔ)言模型 (LLM)。 ?是一

  2024年04月13日

  瀏覽(27)

• 開源模型應(yīng)用落地-qwen-7b-chat與vllm實(shí)現(xiàn)推理加速的正確姿勢(shì)（一）

  一、前言 ? ? ?基于真實(shí)生產(chǎn)級(jí)項(xiàng)目分享，幫助有需要的同學(xué)快速構(gòu)建完整可交付項(xiàng)目 ? ? 項(xiàng)目流程包括（去掉業(yè)務(wù)部分）： ? 開源模型測(cè)試，包括baichuan、qwen、chatglm、bloom ? 數(shù)據(jù)爬取及清洗 ? 模型微調(diào)及評(píng)估 ? 搭建AI交互能力 ??搭建IM交互能力 ? 搭建違禁詞識(shí)別能力

  2024年02月02日

  瀏覽(22)
• 

  開源模型應(yīng)用落地-qwen1.5-7b-chat與sglang實(shí)現(xiàn)推理加速的正確姿勢(shì)（一）

  ? ? ?SGLang is a structured generation language designed for large language models (LLMs). It makes your interaction with LLMs faster and more controllable by co-designing the frontend language and the runtime system。簡(jiǎn)單來(lái)說(shuō)就是，SGLang簡(jiǎn)化了LLM程序的編寫并提高了執(zhí)行效率，SGLang可以將常見的LLM任務(wù)加速高達(dá)5倍。 ? ?

  2024年04月12日

  瀏覽(50)