?? ?? ?? ?? 歡迎來到本博客 ?? ?? ?? ??
?? 博主優(yōu)勢： ?? ?? ??博客內(nèi)容盡量做到思維縝密，邏輯清晰，為了方便讀者。
? 座右銘：行百里者，半于九十。
?? ?? ?? 本文目錄如下： ?? ?? ??
目錄
??1 概述
??2 運(yùn)行結(jié)果
??3 參考文獻(xiàn)
??4 Matlab代碼實(shí)現(xiàn)
??1 概述
參考文獻(xiàn)：
CNN 是通過模仿生物視覺感知機(jī)制構(gòu)建而成，能夠進(jìn)行有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)[33]。隱含層的卷
積核參數(shù)共享以及層間連接的稀疏性使得 CNN 能夠以較小的計(jì)算量從高維數(shù)據(jù)中提取深層次局部特征，并通過卷積層和池化層獲得有效的表示[34]。CNN 網(wǎng)絡(luò)的結(jié)構(gòu)包含 2 個(gè)卷積層和 1 個(gè)展平操作，每個(gè)卷積層包含 1 個(gè)卷積操作和 1 個(gè)池化操作。第2 次池化操作后，再利用全連接層將高維數(shù)據(jù)展平為 1 維數(shù)據(jù)，從而更加方便的對(duì)數(shù)據(jù)進(jìn)行處理。CNN結(jié)構(gòu)如圖 1 所示。
當(dāng)時(shí)間步數(shù)較大時(shí)，RNN 的歷史梯度信息無法一直維持在一個(gè)合理的范圍內(nèi)，因此梯度衰減或爆
炸幾乎不可避免，從而導(dǎo)致 RNN 將很難從長距離序列中捕捉到有效信息[35]。LSTM 作為一種特殊的RNN，其提出很好地解決了 RNN 中梯度消失的問題[36]。而 GRU 則是在 LSTM 的基礎(chǔ)上提出，其結(jié) 構(gòu)更簡單，參數(shù)更少，訓(xùn)練時(shí)間短，訓(xùn)練速度也比更快[37]。GRU 結(jié)構(gòu)圖如圖 2 所示。
貝葉斯優(yōu)化也稱為基于序列模型的優(yōu)化方法 (sequential model-based optimization method, SMBO)， 屬于無導(dǎo)數(shù)技術(shù)。BO 方法包括使用高斯過程回歸模型估計(jì)目標(biāo)函數(shù)[40]。首先，評(píng)估 2 組隨機(jī)超參數(shù)。使用概率模型順序建立優(yōu)化問題的先驗(yàn)知識(shí)，然后對(duì)目標(biāo)函數(shù) f(z)進(jìn)行標(biāo)量[41]，如式所示。
式中，z* 是 f(z)約束域的全局最優(yōu)值，包括實(shí)數(shù)、整數(shù)或分類特征值。BO 算法的優(yōu)點(diǎn)是收斂速度快、性能好、可擴(kuò)展性強(qiáng)、適用于超參數(shù)尋優(yōu)問題，特別是在特征為非參數(shù)的情況下。然而，基于 BO 的超參數(shù)尋優(yōu)的缺點(diǎn)可以歸結(jié)為兩類：訓(xùn)練時(shí)間和 BO 參數(shù)的調(diào)整。由于 BO 是一種順序方法，為減少計(jì)算時(shí)間，對(duì)其進(jìn)行并行化很困難[27]。此外，BO 的核函數(shù)很難調(diào)整,最近的一項(xiàng)研究工作解決了這些問題，如標(biāo)準(zhǔn)化BO 參數(shù)。文章來源：http://www.zghlxwxcb.cn/news/detail-433166.html
??2 運(yùn)行結(jié)果
??3 參考文獻(xiàn)
部分理論來源于網(wǎng)絡(luò)，如有侵權(quán)請聯(lián)系刪除。
[1]鄒智,吳鐵洲,張曉星等.基于貝葉斯優(yōu)化CNN-BiGRU混合神經(jīng)網(wǎng)絡(luò)的短期負(fù)荷預(yù)測[J].高電壓技術(shù),2022,48(10):3935-3945.DOI:10.13336/j.1003-6520.hve.20220168.文章來源地址http://www.zghlxwxcb.cn/news/detail-433166.html
??4 Matlab代碼實(shí)現(xiàn)
到了這里，關(guān)于基于貝葉斯優(yōu)化CNN-LSTM混合神經(jīng)網(wǎng)絡(luò)預(yù)測（Matlab代碼實(shí)現(xiàn)）的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
