回归预测 | MATLAB实现CNN-BiLSTM-Attention多输入单输出回归预测

回归预测 | MATLAB实现CNN-BiLSTM-Attention多输入单输出回归预测

目录

回归预测 | MATLAB实现CNN-BiLSTM-Attention多输入单输出回归预测预测效果基本介绍模型描述程序设计参考资料

预测效果

基本介绍

MATLAB实现CNN-BiLSTM-Attention多输入单输出回归预测，CNN-BiLSTM结合注意力机制多输入单输出回归预测。

模型描述

Matlab实现CNN-BiLSTM-Attention多变量回归预测 1.data为数据集，格式为excel，7个输入特征，1个输出特征； 2.MainCNN_BiLSTM_Attention.m为主程序文件，运行即可； 3.命令窗口输出R2、MAE、MAPE、MSE和MBE，可在下载区获取数据和程序内容；

注意程序和数据放在一个文件夹，运行环境为Matlab2020b及以上。 4.注意力机制模块： SEBlock（Squeeze-and-Excitation Block）是一种聚焦于通道维度而提出一种新的结构单元，为模型添加了通道注意力机制，该机制通过添加各个特征通道的重要程度的权重，针对不同的任务增强或者抑制对应的通道，以此来提取有用的特征。该模块的内部操作流程如图，总体分为三步：首先是Squeeze 压缩操作，对空间维度的特征进行压缩，保持特征通道数量不变。融合全局信息即全局池化，并将每个二维特征通道转换为实数。实数计算公式如公式所示。该实数由k个通道得到的特征之和除以空间维度的值而得，空间维数为H*W。其次是Excitation激励操作，它由两层全连接层和Sigmoid函数组成。如公式所示，s为激励操作的输出，σ为激活函数sigmoid，W2和W1分别是两个完全连接层的相应参数，δ是激活函数ReLU，对特征先降维再升维。最后是Reweight操作，对之前的输入特征进行逐通道加权，完成原始特征在各通道上的重新分配。

程序设计

完整程序和数据获取方式1：同等价值程序兑换；完整程序和数据获取方式2：私信博主获取。

% 参数设置

options = trainingOptions('adam', ... % 优化算法Adam

'MaxEpochs', 100, ... % 最大训练次数

'MiniBatchSize',25,...

'GradientThreshold', 1, ... % 梯度阈值

'InitialLearnRate', 0.01, ... % 初始学习率

'LearnRateSchedule', 'piecewise', ... % 学习率调整

'LearnRateDropPeriod', 70, ... % 训练60次后开始调整学习率

'LearnRateDropFactor',0.2, ... % 学习率调整因子

'L2Regularization', 0.001, ... % 正则化参数

'ExecutionEnvironment', 'cpu',... % 训练环境

'Verbose', 0, ... % 关闭优化过程

'Plots', 'training-progress'); % 画出曲线

% 训练

net = trainNetwork(vp_train, vt_train, layers, options);

%analyzeNetwork(net);% 查看网络结构

% 预测

t_sim1 = predict(net, vp_train);

t_sim2 = predict(net, vp_test);

% 数据反归一化

T_sim1 = mapminmax('reverse', t_sim1, ps_output);

T_sim2 = mapminmax('reverse', t_sim2, ps_output);

T_train1 = T_train;

T_test2 = T_test;

% 数据格式转换

T_sim1 = cell2mat(T_sim1);% cell2mat将cell元胞数组转换为普通数组

T_sim2 = cell2mat(T_sim2);

% 指标计算

disp('训练集误差指标')

[mae1,rmse1,mape1,r1,error1]=calc_error(T_train1,T_sim1');

fprintf('\n')

disp('测试集误差指标')

[mae2,rmse2,mape2,r2,error2]=calc_error(T_test2,T_sim2');

fprintf('\n')

toc

% 参数设置

options = trainingOptions('adam', ... % 优化算法Adam

'MaxEpochs', 100, ... % 最大训练次数

'MiniBatchSize',25,...

'GradientThreshold', 1, ... % 梯度阈值

'InitialLearnRate', 0.01, ... % 初始学习率

'LearnRateSchedule', 'piecewise', ... % 学习率调整

'LearnRateDropPeriod', 70, ... % 训练60次后开始调整学习率

'LearnRateDropFactor',0.2, ... % 学习率调整因子

'L2Regularization', 0.001, ... % 正则化参数

'ExecutionEnvironment', 'cpu',... % 训练环境

'Verbose', 0, ... % 关闭优化过程

'Plots', 'training-progress'); % 画出曲线

% 训练

net = trainNetwork(vp_train, vt_train, layers, options);

%analyzeNetwork(net);% 查看网络结构

% 预测

t_sim5 = predict(net, vp_train);

t_sim6 = predict(net, vp_test);

% 数据反归一化

T_sim5 = mapminmax('reverse', t_sim5, ps_output);

T_sim6 = mapminmax('reverse', t_sim6, ps_output);

% 数据格式转换

T_sim5 = cell2mat(T_sim5);% cell2mat将cell元胞数组转换为普通数组

T_sim6 = cell2mat(T_sim6);

% 指标计算

disp('训练集误差指标')

[mae5,rmse5,mape5,r5,error5]=calc_error(T_train1,T_sim5');

fprintf('\n')

disp('测试集误差指标')

[mae6,rmse6,mape6,r6,error6]=calc_error(T_test2,T_sim6');

fprintf('\n')

toc

参考资料

[1] http://t.csdn.cn/pCWSp [2] https://download.csdn.net/download/kjm13182345320/87568090?spm=1001.2014.3001.5501 [3] https://blog.csdn.net/kjm13182345320/article/details/129433463?spm=1001.2014.3001.5501

相关链接

 您阅读本篇文章共花了：