【MATLAB第97期】基于MATLAB的貝葉斯Bayes算法優(yōu)化BiGRU雙向門控循環(huán)單元的多輸入單輸出回歸預(yù)測模型，含GRU與BiGRU結(jié)構(gòu)層數(shù)優(yōu)化
前言
前面在【MATLAB第10期】講解了基于貝葉斯Bayes算法優(yōu)化LSTM長短期記憶網(wǎng)絡(luò)的多輸入單輸出回歸預(yù)測模型。
本次模型難點(diǎn)包括：
1、BiGRU模型代碼的編制
2、多層BiGRU模型代碼的編制
3、BO-BiGRU模型代碼的編制
數(shù)據(jù)
7輸入1輸出
%% 導(dǎo)入數(shù)據(jù)（時間序列的單列數(shù)據(jù)）
result = xlsread('data.xlsx');
%% 數(shù)據(jù)分析
num_samples = length(result); % 樣本個數(shù)
kim = 7; % 延時步長（kim個歷史數(shù)據(jù)作為自變量）
zim = 1; % 跨zim個時間點(diǎn)進(jìn)行預(yù)測
%% 構(gòu)造數(shù)據(jù)集
for i = 1: num_samples - kim - zim + 1
res(i, :) = [reshape(result(i: i + kim - 1), 1, kim), result(i + kim + zim - 1)];
end
%% 劃分訓(xùn)練集和測試集
temp = 1: 1: 922;
P_train = res(temp(1: 700), 1: 7)';
T_train = res(temp(1: 700), 8)';
M = size(P_train, 2);
P_test = res(temp(701: end), 1: 7)';
T_test = res(temp(701: end), 8)';
N = size(P_test, 2);
%% 數(shù)據(jù)歸一化
[P_train, ps_input] = mapminmax(P_train, 0, 1);
P_test = mapminmax('apply', P_test, ps_input);
[t_train, ps_output] = mapminmax(T_train, 0, 1);
t_test = mapminmax('apply', T_test, ps_output);
%% 數(shù)據(jù)平鋪
% 將數(shù)據(jù)平鋪成1維數(shù)據(jù)只是一種處理方式
% 也可以平鋪成2維數(shù)據(jù)，以及3維數(shù)據(jù)，需要修改對應(yīng)模型結(jié)構(gòu)
% 但是應(yīng)該始終和輸入層數(shù)據(jù)結(jié)構(gòu)保持一致
P_train = double(reshape(P_train, 7, 1, 1, M));
P_test = double(reshape(P_test , 7, 1, 1, N));
t_train = t_train';
t_test = t_test' ;
%% 數(shù)據(jù)格式轉(zhuǎn)換
for i = 1 : M
p_train{i, 1} = P_train(:, :, 1, i);
end
for i = 1 : N
p_test{i, 1} = P_test( :, :, 1, i);
end
%% 創(chuàng)建模型
inputSize = 7; % 輸入特征個數(shù)
numResponses = 1; % 輸出特征個數(shù)
NumOfUnits = 40; % 隱含層神經(jīng)元個數(shù)
layers = layerGraph();
%% 參數(shù)設(shè)置
options = trainingOptions('adam', ... % Adam 梯度下降算法
'MiniBatchSize', 50, ... % 批大小
'MaxEpochs', 100, ... % 最大迭代次數(shù)
'InitialLearnRate', 1e-2, ... % 初始學(xué)習(xí)率為
'LearnRateSchedule', 'piecewise', ... % 學(xué)習(xí)率下降
'LearnRateDropFactor', 0.5, ... % 學(xué)習(xí)率下降因子
'LearnRateDropPeriod', 50, ... % 經(jīng)過 500 次訓(xùn)練后 學(xué)習(xí)率為 0.01 * 0.5
'Shuffle', 'every-epoch', ... % 每次訓(xùn)練打亂數(shù)據(jù)集
'Plots', 'training-progress', ... % 畫出曲線
'Verbose', false);
一、單層BiGRU
參考鏈接：
BIGRU（Bidirectional Gated Recurrent Unit）是一種基于雙向門控循環(huán)單元（GRU）的多變量時間序列預(yù)測方法。它結(jié)合了雙向模型和門控機(jī)制，能夠有效地捕捉時間序列數(shù)據(jù)中的時序關(guān)系和多變量之間的相互影響。
GRU是一種循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的變體，相比于傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)（如LSTM），GRU具有更少的參數(shù)和計(jì)算復(fù)雜度。它通過引入門控單元來控制信息的流動，從而在處理長期依賴關(guān)系時具有更好的性能。
BIGRU模型由兩個方向的GRU網(wǎng)絡(luò)組成，一個網(wǎng)絡(luò)從前向后處理時間序列數(shù)據(jù)，另一個網(wǎng)絡(luò)從后向前處理時間序列數(shù)據(jù)。這種雙向結(jié)構(gòu)可以同時捕捉到過去和未來的信息，從而更全面地建模時間序列數(shù)據(jù)中的時序關(guān)系。
在BIGRU模型中，每個GRU單元都有更新門和重置門來控制信息的流動。更新門決定了當(dāng)前時刻的輸入是否對當(dāng)前狀態(tài)進(jìn)行更新，而重置門決定了如何將過去的狀態(tài)與當(dāng)前輸入結(jié)合起來。通過這些門控機(jī)制，BIGRU模型可以自適應(yīng)地學(xué)習(xí)時間序列數(shù)據(jù)中的長期依賴關(guān)系和多變量之間的相互影響。
訓(xùn)練集數(shù)據(jù)的MAPE為：0.015984
測試集數(shù)據(jù)的MAPE為：0.037648
訓(xùn)練集數(shù)據(jù)的RMSE為：0.052827
測試集數(shù)據(jù)的RMSE為：0.11232
訓(xùn)練集數(shù)據(jù)的R2為：0.99808
測試集數(shù)據(jù)的R2為：0.97666
訓(xùn)練集數(shù)據(jù)的MAE為：0.032269
測試集數(shù)據(jù)的MAE為：0.088781
訓(xùn)練集數(shù)據(jù)的MBE為：-0.0040228
測試集數(shù)據(jù)的MBE為：0.057725
二、多層BiGRU
1.雙層
訓(xùn)練集數(shù)據(jù)的MAPE為：0.025075
測試集數(shù)據(jù)的MAPE為：0.060946
訓(xùn)練集數(shù)據(jù)的RMSE為：0.077447
測試集數(shù)據(jù)的RMSE為：0.17569
訓(xùn)練集數(shù)據(jù)的R2為：0.99587
測試集數(shù)據(jù)的R2為：0.94288
訓(xùn)練集數(shù)據(jù)的MAE為：0.047427
測試集數(shù)據(jù)的MAE為：0.14756
訓(xùn)練集數(shù)據(jù)的MBE為：0.041614
測試集數(shù)據(jù)的MBE為：0.13522
2.三層
訓(xùn)練集數(shù)據(jù)的MAPE為：0.019441
測試集數(shù)據(jù)的MAPE為：0.045008
訓(xùn)練集數(shù)據(jù)的RMSE為：0.057658
測試集數(shù)據(jù)的RMSE為：0.13099
訓(xùn)練集數(shù)據(jù)的R2為：0.99771
測試集數(shù)據(jù)的R2為：0.96825
訓(xùn)練集數(shù)據(jù)的MAE為：0.036483
測試集數(shù)據(jù)的MAE為：0.10681
訓(xùn)練集數(shù)據(jù)的MBE為：0.0048439
測試集數(shù)據(jù)的MBE為：0.079081
3.四層
訓(xùn)練集數(shù)據(jù)的MAPE為：0.023143
測試集數(shù)據(jù)的MAPE為：0.034958
訓(xùn)練集數(shù)據(jù)的RMSE為：0.074313
測試集數(shù)據(jù)的RMSE為：0.10532
訓(xùn)練集數(shù)據(jù)的R2為：0.9962
測試集數(shù)據(jù)的R2為：0.97947
訓(xùn)練集數(shù)據(jù)的MAE為：0.047467
測試集數(shù)據(jù)的MAE為：0.081923
訓(xùn)練集數(shù)據(jù)的MBE為：-0.026566
測試集數(shù)據(jù)的MBE為：0.028198
三、BO-BiGRU（含多層BiGRU）
clc; clear; close all;
%% -------------- 初始化變量 ------ ----------
%opt.Delays = 1:10;%數(shù)據(jù)滯后30=滑動窗口
%opt.dataPreprocessMode為數(shù)據(jù)預(yù)處理，'None'代表無處理，'Data Standardization'代表標(biāo)準(zhǔn)化處理，
%'Data Normalization'代表歸一化處理
opt.dataPreprocessMode = 'Data Normalization'; %三種數(shù)據(jù)處理方式 'None' 'Data Standardization' 'Data Normalization'
opt.learningMethod = 'GRU';%選擇GRU作為訓(xùn)練模型
opt.trPercentage = 0.76; % 將數(shù)據(jù)劃分為測試和訓(xùn)練數(shù)據(jù)集，0.76代表訓(xùn)練集比例
%----通用深度學(xué)習(xí)參數(shù)（GRU和CNN通用參數(shù)）
opt.maxEpochs = 100; %400 % 深度學(xué)習(xí)算法中最大訓(xùn)練次數(shù)。
opt.miniBatchSize = 50; % 深度學(xué)習(xí)算法中的樣本最小批處理數(shù)量大小。
opt.executionEnvironment = 'cpu'; % 運(yùn)行環(huán)境 'cpu' 'gpu' 'auto'
opt.LR = 'adam'; %GRU學(xué)習(xí)函數(shù) 'sgdm' 'rmsprop' 'adam'
opt.trainingProgress = 'none'; %是否運(yùn)行訓(xùn)練圖 'training-progress' 'none'
% ------------- BIGRU參數(shù)
opt.isUseBiGRULayer = true; % 如果為true，則為雙向 GRU，如果為false，則轉(zhuǎn)為單向GRU
opt.isUseDropoutLayer = true; % dropout 層避免過擬合
opt.DropoutValue = 0.5; % dropout 層概率為0.5
% ------------ 優(yōu)化參數(shù)
opt.optimVars = [
optimizableVariable('NumOfLayer',[1 4],'Type','integer') %優(yōu)化GRU隱含層層數(shù)(1-4) ，層數(shù)數(shù)據(jù)類型為整數(shù)
optimizableVariable('NumOfUnits',[20 200],'Type','integer')%優(yōu)化GRU隱含層神經(jīng)元(50-200) ，數(shù)據(jù)類型為整數(shù)
optimizableVariable('isUseBiGRULayer',[1 2],'Type','integer')%優(yōu)化GRU結(jié)構(gòu)，1代表BiGRU，2代表GRU， ，數(shù)據(jù)類型為整數(shù)
optimizableVariable('InitialLearnRate',[1e-2 1],'Transform','log')%優(yōu)化GRU初始學(xué)習(xí)率(0.01-1) ，數(shù)據(jù)類型為浮點(diǎn)型
optimizableVariable('L2Regularization',[1e-10 1e-2],'Transform','log')];%優(yōu)化GRU正則化L2系數(shù)(1e-10-1e-2) ，數(shù)據(jù)類型為浮點(diǎn)型
opt.isUseOptimizer = true;%是否選擇貝葉斯優(yōu)化
opt.MaxOptimizationTime = 14*60*20;%優(yōu)化運(yùn)行的最大時間14*60*60
opt.MaxItrationNumber = 30;%優(yōu)化運(yùn)行的最大迭代次數(shù)60
opt.isDispOptimizationLog = true;%是否展示優(yōu)化過程日志
opt.isSaveOptimizedValue = false; % 是否將所有優(yōu)化輸出保存在 mat 文件中
opt.isSaveBestOptimizedValue = true; % 是否將最佳優(yōu)化輸出保存為 mat 文件
%% --------------- 加載數(shù)據(jù)
data = loadData(opt);
if ~data.isDataRead
return;
end
%% --------------- 準(zhǔn)備數(shù)據(jù)
[opt,data] = PrepareData(opt,data);
%% --------------- 使用貝葉斯優(yōu)化找到最佳 GRU 參數(shù)
[opt,data] = OptimizeGRU(opt,data);
%% --------------- 評估數(shù)據(jù)
[opt,data] = EvaluationData(opt,data);
save result_BO-BiGRU
測試集R2： 0.98962
訓(xùn)練集R2：0.99758
運(yùn)行過程結(jié)果：
達(dá)到 MaxObjectiveEvaluations 30。
函數(shù)計(jì)算總次數(shù): 30
總歷時: 945.2992 秒。
總目標(biāo)函數(shù)計(jì)算時間: 905.6441
觀測到的最佳可行點(diǎn):
NumOfLayer NumOfUnits isUseBiGRULayer InitialLearnRate L2Regularization
1.00 199.00 2.00 0.01 0.00
觀測到的目標(biāo)函數(shù)值 = 0.0017557
估計(jì)的目標(biāo)函數(shù)值 = 0.0015089
函數(shù)計(jì)算時間 = 21.0219
估計(jì)的最佳可行點(diǎn)(根據(jù)模型):
NumOfLayer NumOfUnits isUseBiGRULayer InitialLearnRate L2Regularization
1.00 199.00 2.00 0.01 0.00
估計(jì)的目標(biāo)函數(shù)值 = 0.0015089
估計(jì)的函數(shù)計(jì)算時間 = 21.0541
四、結(jié)論
針對本案例數(shù)據(jù)，1-4層BiGRU回歸模型測試時， 1層結(jié)構(gòu)與4層結(jié)構(gòu)擬合結(jié)果較好，但因4層結(jié)構(gòu)運(yùn)行速度慢，結(jié)構(gòu)復(fù)雜，加上數(shù)據(jù)量少，所以在本案例中不太適用。
貝葉斯優(yōu)化BiGRU模型中，30次迭代后最佳的結(jié)構(gòu)是單層GRU結(jié)構(gòu)，但與單層BiGRU結(jié)果相差不大，具有一定的可行性。
再嚴(yán)謹(jǐn)一點(diǎn)兒，需要把30次迭代最優(yōu)結(jié)構(gòu)結(jié)果進(jìn)行分析，判斷BiGRU相對于GRU的優(yōu)勢或者劣勢，至少從運(yùn)行結(jié)果可知，BiGRU下限很低，所以不推薦使用默認(rèn)參數(shù)，而需要搭配進(jìn)化算法進(jìn)行使用。GRU結(jié)構(gòu)相對較為穩(wěn)定，但內(nèi)容比較單一，相比LSTM沒有明顯優(yōu)勢。
以上，若用BiGRU，使用一層結(jié)構(gòu)的就足夠了（結(jié)論不嚴(yán)謹(jǐn)，僅針對本次案例）。文章來源：http://www.zghlxwxcb.cn/news/detail-837254.html
五、代碼獲取
1.閱讀首頁置頂文章
2.關(guān)注CSDN
3.根據(jù)自動回復(fù)消息，回復(fù)“96期”以及相應(yīng)指令，即可獲取對應(yīng)下載方式。文章來源地址http://www.zghlxwxcb.cn/news/detail-837254.html
到了這里，關(guān)于【MATLAB第97期】基于MATLAB的貝葉斯Bayes算法優(yōu)化BiGRU雙向門控循環(huán)單元的多輸入單輸出回歸預(yù)測模型，含GRU與BiGRU多層結(jié)構(gòu)優(yōu)化選擇的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
