相關(guān)文章

• 

  TVM編譯器推理加速模型

  TVM是一個開源的端到端優(yōu)化機器學習編譯器，目的是加速模型在任意硬件上的計算。 一般情況下如果實在intel的cpu上面部署可能用OpenVino，N卡上面肯定TensorRT，arm架構(gòu)機器可能會用Ncnn等，意味著要針對每個框架做部署，這里面涉及到的轉(zhuǎn)換非常復雜，部署過的就知道有多少坑

  2024年01月19日

  瀏覽(23)
• 

  微調(diào)Whisper語音識別模型和加速推理

  OpenAI在開源了號稱其英文語音辨識能力已達到人類水準的Whisper項目，且它亦支持其它98種語言的自動語音辨識。Whisper所提供的自動語音識與翻譯任務，它們能將各種語言的語音變成文本，也能將這些文本翻譯成英文。本項目主要的目的是為了對Whisper模型使用Lora進行微調(diào)，目

  2024年02月07日

  瀏覽(19)
• 

  LLM大模型推理加速 vLLM；docker推理大模型；Qwen vLLM使用案例；模型生成速度吞吐量計算

  參考： https://github.com/vllm-project/vllm https://zhuanlan.zhihu.com/p/645732302 https://vllm.readthedocs.io/en/latest/getting_started/quickstart.html ##文檔 這里使用的cuda版本是11.4，tesla T4卡 加速原理： PagedAttention，主要是利用kv緩存 注意：用最新的qwen 7B v1.1版本的話，vllm要升級到最新0.2.0才可以（http

  2024年01月21日

  瀏覽(27)

• rk3588使用npu進行模型轉(zhuǎn)換和推理，加速AI應用落地

  本文完成于2022-07-02 20:21:55 。博主在瑞芯微RK3588的開發(fā)板上跑了deepsort跟蹤算法，從IP相機中的server拉取rtsp視頻流，但是fps只有1.2，和放PPT一樣卡頓，無法投入實際應用。本來想使用tensorrt進行加速推理，但是前提需要cuda，rk的板子上都是Arm的手機gpu，沒有Nvidia的cuda，所以這條

  2023年04月12日

  瀏覽(14)
• 

  從零構(gòu)建深度學習推理框架-1 簡介和Tensor

  源代碼作者：https://github.com/zjhellofss 本文僅作為個人學習心得領(lǐng)悟 ，將原作品提煉，更加適合新手 深度學習推理框架用于對已訓練完成的神經(jīng)網(wǎng)絡進行預測，也就是說，能夠?qū)⑸疃扔柧毧蚣芾鏟ytorch、Tensorflow中定義的算法移植到中心側(cè)和端側(cè)，并高效執(zhí)行。與訓練框架不同

  2024年02月15日

  瀏覽(28)
• 

  【LLM】chatglm-6B模型訓練和推理

  本篇文章記錄下 chatglm-6B 訓練和推理過程 環(huán)境：Ubuntu 20.04 + 1.13.0+cu116 chatglm-6B 源代碼倉庫：鏈接 chatglm-6B 模型權(quán)重：鏈接 這里使用的是 THUDM 在 hugging face 開源的模型。 因為模型比較大，倉庫保存模式使用的是 git lfs 模式，再 clone 之后再使用 git lfs pull 去 download 大文件。 c

  2024年02月10日

  瀏覽(49)
• 

  AI：DeepSpeed Chat(一款幫用戶訓練自己模型的工具且簡單/低成本/快 RLHF 訓練類ChatGPT高質(zhì)量大模型)的簡介、安裝、使用方法之詳細攻略

  AI：DeepSpeed Chat(一款幫用戶訓練自己模型的工具且簡單/低成本/快 RLHF 訓練類ChatGPT高質(zhì)量大模型)的簡介、安裝、使用方法之詳細攻略 目錄 DeepSpeed Chat的簡介 DeepSpeed-Chat的產(chǎn)生背景 DeepSpeed-Chat的簡介 DeepSpeed-Chat的三大功能 DeepSpeed-RLHF 系統(tǒng)三大優(yōu)勢 DeepSpeed Chat的安裝和使用方法

  2023年04月22日

  瀏覽(37)

• LLM大模型推理加速實戰(zhàn)：vllm、fastllm與llama.cpp使用指南

  隨著人工智能技術(shù)的飛速發(fā)展，大型語言模型（LLM）在諸如自然語言處理、智能問答、文本生成等領(lǐng)域的應用越來越廣泛。然而，LLM模型往往具有龐大的參數(shù)規(guī)模，導致推理過程計算量大、耗時長，成為了制約其實際應用的關(guān)鍵因素。為了解決這個問題，一系列大模型推理加

  2024年04月13日

  瀏覽(28)
• 

  Intel N100工控機使用核顯加速推理yolov5模型

  今年3月初開始，某平臺開始陸續(xù)上貨基于英特爾Alder Lake-N處理器系列的迷你主機。最先出現(xiàn)的是N95和N100兩款處理器，迷你主機的整機價格已經(jīng)打到800元左右的水平了，還是有挺高可玩性的。其中N100的規(guī)格如下： 這個cpu性能雖然不是很強，性能接近4代i5移動端，但功耗很低，

  2024年02月14日

  瀏覽(26)
• 

  [玩轉(zhuǎn)AIGC]LLaMA2訓練中文文章撰寫神器（數(shù)據(jù)準備，數(shù)據(jù)處理，模型訓練，模型推理）

  好久沒更新這個專欄的文章了，今天抽空寫了一篇。————2023.12.28 摘要：文體包括新聞，法律文書，公告，廣告等，每種文體的書寫風格不一樣，如果擁有自己的數(shù)據(jù)集，想針對特定文體來訓練一個內(nèi)容生成的工具，來幫助自己寫點文章，如果沒接觸過AIGC，可能一開始會

  2024年01月17日

  瀏覽(25)