基于注意力掩码语言模型的隐式篇章关系

本文通过实验探究在隐式篇章关系识别任务中存在的表意不全问题，并提出一种基于交互注意力的掩码语言
模型（IAMLM），将 IAMLM 与 RoBERTa 分类模型结合，集成到多任务学习框架中；
该方法计算论元之间的交互注意力矩阵，并依赖交互注意力动态选择论元之间高关联性的关键词项进行
遮蔽、掩码重构，将预测关键词的任务作为辅助任务，从而形成更有针对性的数据增强；
与 RoBERTa 作为 baseline 对比，在 Temporal、 Comparison、 Contingency 和 Expansion 分别提升了 6.56%、
3.21%、 6.46%和 2.74%。