国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

部分安卓端ncnn模型推理輸出數(shù)據(jù)存在大量-nan和nan的問題

這篇具有很好參考價值的文章主要介紹了部分安卓端ncnn模型推理輸出數(shù)據(jù)存在大量-nan和nan的問題。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點(diǎn)擊"舉報違法"按鈕提交疑問。

原文issue鏈接:部分安卓端ncnn模型推理輸出數(shù)據(jù)存在大量-nan的問題 · Issue #3607 · Tencent/ncnn (github.com)

問題描述

????????onnx、ncnn模型在pc端推理輸出結(jié)果正確且基本一致,在部分安卓設(shè)備上使用同一模型和輸入的推理輸出數(shù)據(jù)正常,另一部分安卓端設(shè)備上存在大量-nan數(shù)值,且推理結(jié)果錯誤。

編譯&運(yùn)行環(huán)境

ncnn版本庫:預(yù)編譯庫 20220216
PC端運(yùn)行環(huán)境:Ubuntu 18.04 Intel Core i7 9700
Android端出現(xiàn)問題的運(yùn)行環(huán)境:
1、Android 10.0 展銳 uis8581e
2、Android 11.0 高通 Snapdragon 855Plus
3、Harmony 2.0 麒麟 Kirin 980

解決方案

????????中間層累加可能有fp16溢出問題,對于累加有溢出的層強(qiáng)制用 fp32 計算,在加載后,重新用 fp32 性質(zhì)初始化該層。(ncnn作者nihui的回復(fù))或者直接像下面這樣設(shè)置fp16計算。

net.opt.use_fp16_storage = false;
net.opt.use_fp16_arithmetic = false;

????????當(dāng)net.opt.use_fp16_storage設(shè)置為false時,模型中的參數(shù)以及中間計算結(jié)果將會以浮點(diǎn)數(shù)的32位精度(即float32)進(jìn)行存儲。同樣,當(dāng)net.opt.use_fp16_arithmetic設(shè)置為false時,模型的計算也會以float32精度進(jìn)行。默認(rèn)情況下,這兩個選項(xiàng)的值都為false,即使用float32精度。?

啟示

????????對于不同設(shè)備端如果在ncnn正確安裝和能正常使用后(即推理代碼正常編譯和運(yùn)行),如果推理結(jié)果不一致,那么就要考慮溢出的問題,一般來說對于fp16的模型加上上述兩句,進(jìn)行fp32推理是可以解決問題的。(至少我解決了一部分問題)。通過安卓端這個問題,也可以引申到其他如linux設(shè)備端推理類似問題的解決。文章來源地址http://www.zghlxwxcb.cn/news/detail-573928.html

到了這里,關(guān)于部分安卓端ncnn模型推理輸出數(shù)據(jù)存在大量-nan和nan的問題的文章就介紹完了。如果您還想了解更多內(nèi)容,請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請點(diǎn)擊違法舉報進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • YOLOv7安卓部署 ncnn

    YOLOv7安卓部署 ncnn

    本文將講述如何利用ncnn在安卓手機(jī)端部署YOLOv7,這里以YOLOv7-tiny為例進(jìn)行講解,YOLOv7按照步驟依次進(jìn)行即可,同時對于Android Studio的安裝不在本次教程之內(nèi) 標(biāo)準(zhǔn) YOLOv7-tiny 部署指的是沒有更改 YOLOv7-tiny 的網(wǎng)絡(luò)模型架構(gòu),直接利用訓(xùn)練好的模型權(quán)重進(jìn)行部署,下面分幾步進(jìn)行講

    2024年02月03日
    瀏覽(26)
  • 使用 TensorRT、卡爾曼濾波器和 SORT 算法進(jìn)行實(shí)時對象檢測和跟蹤:第 2 部分將模型轉(zhuǎn)換為 TensorRT 并進(jìn)行推理

    在本博客文章系列的第 1 部分中,我們展示了如何使用 mmdetection 框架訓(xùn)練對象檢測模型并在 BDD100K 數(shù)據(jù)集上對其進(jìn)行微調(diào)。在第 2 部分中,我們將介紹將模型轉(zhuǎn)換為 TensorRT 并在 Nvidia GPU 上執(zhí)行推理的過程。 在本博客文章系列的第 2 部分中,我們將討論以下主題: 將模型轉(zhuǎn)換

    2024年02月15日
    瀏覽(22)
  • 【Android Studio】【NCNN】YOLOV5安卓部署

    【Android Studio】【NCNN】YOLOV5安卓部署

    坑非常多,兄弟們,我已經(jīng)踩了三天的坑了,我這里部署了官方的yolov5s和我自己訓(xùn)練的yolov5n的模型 下載Android Studio,配置安卓開發(fā)環(huán)境,這個過程比較漫長。 安裝cmake,注意安裝的是cmake3.10版本。 根據(jù)手機(jī)安卓版本選擇相應(yīng)的安卓版本,我的是紅米K30Pro,安卓12。 使用騰訊

    2024年02月20日
    瀏覽(18)
  • 外網(wǎng)出口IP存在大量惡意域名訪問,如何排查

    外網(wǎng)出口IP存在大量惡意域名訪問,如何排查 以下工作場景中,發(fā)現(xiàn)外網(wǎng)出口IP存在大量惡意域名訪問是一個嚴(yán)重的安全問題,需要及時排查和處理。通過對相關(guān)系統(tǒng)和網(wǎng)絡(luò)設(shè)備進(jìn)行仔細(xì)檢查、安全日志審計和流量分析,可以幫助確定具體的惡意活動來源,并采取相應(yīng)的應(yīng)對

    2024年02月11日
    瀏覽(35)
  • 生成式 AI 分析:大模型 + 大量數(shù)據(jù)的神奇效果

    生成式 AI 分析:大模型 + 大量數(shù)據(jù)的神奇效果

    如果你對這篇文章感興趣,可以點(diǎn)擊「【訪客必讀 - 指引頁】一文囊括主頁內(nèi)所有高質(zhì)量博客」,查看完整博客分類與對應(yīng)鏈接。 下圖是模型性能(Loss for next token prediction)與「參數(shù)量」和「數(shù)據(jù)集大小」之間的關(guān)系,可以看出隨著「參數(shù)量」和「數(shù)據(jù)集大小」不斷變大,模

    2024年02月02日
    瀏覽(23)
  • 使用Android studio,安卓手機(jī)編譯安裝yolov8部署ncnn,頻繁出現(xiàn)編譯錯誤

    使用Android studio,安卓手機(jī)編譯安裝yolov8部署ncnn,頻繁出現(xiàn)編譯錯誤

    從編譯開始就開始出現(xiàn)錯誤,解決步驟: 1.降低graddle版本,7.2-bin? ---? ?降低為 6.1.1-all 2.仍舊有報錯,jdk從17降為?jdk 13, 在setting配置里, 進(jìn)入build,excution,deployment文件夾中,(是一個文件夾,名字長,不是三個) 進(jìn)入build?tools,再進(jìn)入 Gradle,? 如圖所示, 勾選,選擇

    2024年04月28日
    瀏覽(38)
  • [玩轉(zhuǎn)AIGC]LLaMA2訓(xùn)練中文文章撰寫神器(數(shù)據(jù)準(zhǔn)備,數(shù)據(jù)處理,模型訓(xùn)練,模型推理)

    [玩轉(zhuǎn)AIGC]LLaMA2訓(xùn)練中文文章撰寫神器(數(shù)據(jù)準(zhǔn)備,數(shù)據(jù)處理,模型訓(xùn)練,模型推理)

    好久沒更新這個專欄的文章了,今天抽空寫了一篇?!?023.12.28 摘要:文體包括新聞,法律文書,公告,廣告等,每種文體的書寫風(fēng)格不一樣,如果擁有自己的數(shù)據(jù)集,想針對特定文體來訓(xùn)練一個內(nèi)容生成的工具,來幫助自己寫點(diǎn)文章,如果沒接觸過AIGC,可能一開始會

    2024年01月17日
    瀏覽(25)
  • PP-OCRv3 文本識別模型轉(zhuǎn)ncnn模型

    PP-OCRv3 文本識別模型轉(zhuǎn)ncnn模型

    1、下載PP-OCRv3 ? ? ? ?https://github.com/PaddlePaddle/PaddleOCR ?2、將paddle模型轉(zhuǎn)換成onnx模型 (創(chuàng)建虛擬環(huán)境):paddle base環(huán)境(使用onnx-sim進(jìn)行簡化) (1) 轉(zhuǎn)onnx命令(paddle環(huán)境): ?(2)利用onnx-sim對onnx模型進(jìn)行簡化和優(yōu)化(base環(huán)境) 命令: 3、將onnx模型轉(zhuǎn)為ncnn模型 ????????a、

    2024年02月12日
    瀏覽(24)
  • 【貝葉斯回歸】【第 2 部分】--推理算法

    【貝葉斯回歸】【第 2 部分】--推理算法

    ????????在第一部分中,我們研究了如何使用 SVI 對簡單的貝葉斯線性回歸模型進(jìn)行推理。在本教程中,我們將探索更具表現(xiàn)力的指南以及精確的推理技術(shù)。我們將使用與之前相同的數(shù)據(jù)集。

    2024年02月06日
    瀏覽(10)
  • AI模型部署落地綜述(ONNX/NCNN/TensorRT等)

    AI模型部署落地綜述(ONNX/NCNN/TensorRT等)

    導(dǎo)讀 費(fèi)盡心血訓(xùn)練好的深度學(xué)習(xí)模型如何給別人展示?只在服務(wù)器上運(yùn)行demo怎么吸引別人的目光?怎么才能讓自己的成果落地?這篇文章帶你進(jìn)入模型部署的大門。 模型部署的步驟: 訓(xùn)練一個深度學(xué)習(xí)模型; 使用不同的推理框架對模型進(jìn)行推理轉(zhuǎn)換; 在應(yīng)用平臺運(yùn)行轉(zhuǎn)換

    2024年01月22日
    瀏覽(21)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包