题目、作者：
Abstract
1.方面情感三元组提取(ASTE)是方面级情感分析的任务之一，目标是抽取(方面项，意见项，情感极性)三元组
2.最近的研究表明片段级方法在ASTE任务上很有效，然而本文认为基于片段的方法可能会由于需要考虑的片段太大而产生过大的噪声(因为以往传统的基于片段的方法都是枚举一个句子中的所有片段，这样不止会引入过大的噪声，同时也会带来较大的计算成本)
3.实验证明了本文提出方法的有效性和优越性
1 Introduction
首先介绍一下ASTE，如上图所示，ASTE的任务就是抽取给定句子中的方面词、意见词、情感极性三元组。
句子“我的蔬菜烩饭烧焦了，而且完全浸泡在烧焦的味道中”，ASTE任务为如表格所示，提取方面项意见项，预测情感极性
为了解决传统基于片段方法噪声大、计算成本高问题，本文讨论了片段内的语言现象：
句法依赖关系：由多词组成的方面/意见片段通常是句法依赖的，多个依赖关系可以传递片段之间的高阶交互(比如方面片段“蔬菜烩饭”的片段内句法依赖compound(复合表达式)和跨片段句法依赖nsubj(名词主语))
词性：方面片段和意见片段存在一些频繁的模式，例如方面词组和单个方面词的词性分别为NN-NN和NN，意见项通常为形容词JJ，因此我们可以根据词性特征提取片段，从而避免枚举所有词的组合。
contribution：
1.本文设计了一种用于方面情感三元组提取的双通道片段生成方法，该方法通过双通道方式利用tokens/spans之间的句法依赖性和词性相关性，生成比贪婪枚举候选集小得多的片段候选集。
2.本文基于片段/词的词性关联构造片段内关系和片段间关系，在此基础上利用关系图神经网络捕获高阶语言交互。
3.我们将从依赖树中习得的句法信息与从已构造的词汇关系中习得的词性信息结合起来，以丰富片段表示。实验结果表明，该模型的性能达到sota
2 Model
模型共分为4个模块：句子编码、特征增强模块、双通道片段生成模块和三元组模块。
2.1 编码模块和特征增强模块
编码：首先利用双向LSTM(公式1)或BERT进行编码
特征增强：接下来，为了捕获高阶依赖关系，本文构造了如右图所示的句法依赖关系矩阵和词性邻接矩阵(对角线分别问自依赖关系和自循环关系)，并将它们分别送入句法GAT和词性GAT(对应公式2 3)，分别学习片段之间和片段内的句法依赖信息和词性信息，最后通过一个门控机制融合两个GAT的输出，得到word embedding(对应公式4 5)
公式2,3：这两个公式为第i个结点在句法GAT和词性GAT中的更新过程，其中ri,j表示两节点特定的关系(某个依赖关系或词性关系)，W表示可学习参数矩阵，z表示注意力头数，α和β表示GAT第l层z头的归一化注意力系数，σ表示sigmoid函数
公式4,5：融合句法信息和词性信息，其中W和b是模型参数，○为矩阵对应位置相乘
2.2 双通道生成模块
双通道片段生成模块由双通道片段生成和片段分类两部分组成。
句法片段(上面)：如果一个句子中的两个单词wi和wj之间存在一条依赖边，那么在他们之间的所有单词都会被认为是一个句法片段(si,j)，本文将句法片段定义为如公式6所示，其中f为该片段的长度，if ei,j=1表示如果两词之间存在一条依赖边(那么就认为wi和wj之间是一个句法片段)
词性片段：先枚举一个句子中的名词和形容词，再将这些词进一步结合，得到词性片段，本文将词性片段定义为如公式7所示，其中o∈[k,l]表示该名词或形容词在这个片段中
接下来我们合并两个类型的片段，得到候选片段嵌入。
最后通过利用ATE和OTE任务作为辅助任务进行片段分类，即公式8,9，将一个候选片段送入到前馈神经网络并利用softmax计算概率，进一步缩小可能跨度的范围，得到候选方面词和候选意见词(作者定义了一个阈值，将片段送入一个前馈神经网络计算出的概率如果高于该阈值则被判定为方面片段或意见片段，如果两个概率都低于该阈值则判定该片段为无效片段)
2.3 三元组模块
将方面候选和意见候选两两配对，得到如公式10的方面意见片段表示，其中f表示片段ab与cd之间的距离，r表示片段ab和片段cd之间依赖关系向量，最后，对得到的方面片段和意见片段进行情感预测，如公式11所示，将这个片段表示送入到前馈神经网络后用sofamax函数计算出该片段是r的概率
，其中r∈{positive,negative,neural,invalid}
2.3 损失
损失函数由两部分组成，分别为候选片段分类的损失和预测情感极性的损失，其中t和r为片段的真实标签
3 Experiment
3.1 Dataset
本文在4个公开数据集的2个版本上进行了实验，#S和#T分别代表该数据集中句子的数量和三元组的数量，#SW代表三元组中方面项和意见项都为单个单词片段的数量，#MW代表三元组中方面项和意见项至少有一个是多词片段的数量
3.2 对比实验
表1为在第一个版本数据集上的实验，根据编码器不同分为两部分，可以看到无论使用什么编码器，本文方法的F1值是最高的
表2为在第二个版本数据集上的对比实验，本文方法F1依然是最高的。
通过表1表2可以看到，非pipeline方法的性能都由于pipeline方法，这是由于pipeline方法没有考虑情感元素之间的相关性，从而导致了各阶段之间的误差传播
3.3 消融实验
前3行代表去掉句法图注意力网络和词性图注意力网络，和同时去掉两个图注意力网络。
Dual-GAT和Transformer代表将双通道关系图注意力网络换成transformer和普通的图注意力网络，普通的图注意力网络即不区分依赖边的类型
3.4 其他实验
表4为辅助任务ATE、OTE(用于生成候选片段)的性能
表5为证明本文提出的双通道片段生成策略可以显著降低片段枚举的计算成本，所以作者在相同环境下运行两个模型，发现本文提出的方法在枚举片段时的时间开销是本文baseline的一半
4 Conclusion
在本工作中，我们提出了一个双跨度模型来提高对ASTE任务的性能。基于对片段句法关系和词性特征的观察，我们设计了一种双通道片段生成方法来细化片段候选集，以减轻无效跨的消极的影响。此外，我们使用关系图神经网络从句法依赖关系和词性关系两种角度来捕捉片段之间的高阶交互。实验结果表明，与所有基线相比，该方法对ATE和ASTE任务都有显著的提高。我们还注意到，对于OTE任务，我们的方法通常不如枚举所有可能跨越的普通的基于片段的方法。原因可能是词性关系有限，我们在以后的工作中会考虑到这一点。
推荐文章
您阅读本篇文章共花了：
发表评论