基于注意力掩码语言模型的隐式篇章关系

我要开发同款
豆子君2022年09月17日
111阅读

作品详情

本文通过实验探究在隐式篇章关系识别任务中存在的表意不全问题,并提出一种基于交互注意力的掩码语言模型(IAMLM),将 IAMLM 与 RoBERTa 分类模型结合,集成到多任务学习框架中; 该方法计算论元之间的交互注意力矩阵,并依赖交互注意力动态选择论元之间高关联性的关键词项进行遮蔽、掩码重构,将预测关键词的任务作为辅助任务,从而形成更有针对性的数据增强; 与 RoBERTa 作为 baseline 对比,在 Temporal、 Comparison、 Contingency 和 Expansion 分别提升了 6.56%、3.21%、 6.46%和 2.74%。
查看全文
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论