1 内容介绍
随着当今时代科技不断地飞速发展,科技信息也在急剧增加,收集并挖掘分析这些来源多样化的科技信息,有助于推动科技的发展。而预测作为一种重要的数据研究方法,在各个行业各个领域都有着广泛的应用。因此,面对数量如此庞大且繁杂的科技信息,如何对其进行有效地利用来实现科技发展趋势的预测及分析,具有重要的研究意义。针对传统的预测模型大多存在准确度低、收敛速度慢的问题,并且为达到长时预测的效果,提出一种基于注意力(Attention)机制的长短期记忆网络预测模型。LSTM是循环神经网络(RNN)的一种,它有效地改善了RNN梯度弥散的问题,添加了长短时记忆的功能,保持了模型的持久性,可以很好的解决长期依赖问题;Attention机制即注意力机制,其原理是模拟人脑的注意力模型,本质是一个加权求和的过程,通过给信息赋予不同的权重来凸显某一步的信息。本文使用注意力机制对LSTM网络进行优化,在时间粒子维度上对神经元各时间步的输出乘上相应的权重再相加,得到最后的输出值,从而提高预测精度;而跳层连接则可以改变LSTM网络传播的时间步长。从科技文献、技术成果、科研经费等方面的变化数据入手,根据某一领域不同范围每一年的统计数据来构建数据集进行量化分析。以人工智能领域为例,它包含计算机视觉、自然语言处理等多个范围,按照不同范围分别以年单位统计科技文献数量、研究经费数量、技术成果量等数值,经过数据预处理后构建时间序列,输入到模型的双分支结构中,其中一条分支是具有Attention机制的LSTM网络,另一条是Skip-LSTM网络,通过结合两条分支的输出值得到最终结果,反复迭代,直至模型收敛。实验结果表明,相比于LSTM模型和部分其他常用预测模型,该模型有着更高的预测准确度。
一方面，由于经典的统计分析时间序列模型，在实际应用中存在着对非线性过程建模不精准、 对过程变量之间的关联关系刻画不足的问题，己经不能满足当前对时间序列建模与预测日益精确 性的需
推荐文章
您阅读本篇文章共花了：
发表评论