BERT实现文本相似度计算

该任务主要使用哈工大LCQMC数据集。LCQMC数据集是一个文本匹配数据集，它是基于人机对话任务的一项基本任务，通常被认为是语义匹配任务，有时是释义识别任务。本节的目标是计算两个文本的相似度，并得出是否相似的结果，相当于一个二分类问题。语料库包含260,068个带有人工注释的问题对，我们将其分为三部分，即包含238,766个问题对的训练集、包含8,802个问题对的验证集和包含 12,500个问题对的测试集。