基于BERT的中文Base预训练模型介绍（文档更新中）

BERT的中文Base预训练模型是使用wikipedia数据和masked laguage model任务训练的中文自然语言理解预训练模型。

模型描述

BERT是一种基于Trasformer Ecoder模块的双向编码表示模型。针对大规模无标注语料上，BERT通过MLM与NSP任务进行无监督预训练，可以很好地对自然语言建模。详见论文BERT: Pre-traiig of Deep Bidirectioal Trasformers for Laguage Uderstadig

本模型为Base规模（Layer-12 / Hidde-768 / Head-12)，参数规模约为102M。

期望模型使用方式以及适用范围

本模型主要用于中文相关下游任务微调。用户可以基于自有训练数据进行微调。具体调用方式请参考代码示例。

如何使用

在安装完成ModelScope-lib之后即可基于lpbertbackboebasestd进行下游任务fietue

代码范例

```pytho from modelscope.metaifo import Preprocessors from modelscope.msdatasets import MsDataset from modelscope.traiers import build_traier from modelscope.utils.costat import Tasks

通过这个方法修改cfg

def cfgmodifyf(cfg): # 将backboe模型加载到句子相似度的模型类中 cfg.task = Tasks.setecesimilarity # 使用句子相似度的预处理器 cfg['preprocessor'] = {'type': Preprocessors.sesim_tokeizer}

# 演示代码修改，正常使用不用修改
cfg.trai.dataloader.workers_per_gpu = 0
cfg.evaluatio.dataloader.workers_per_gpu = 0

# 补充数据集的特性
cfg['dataset'] = {
    'trai': {
        # 实际label字段内容枚举，在训练backboe时需要传入
        'labels': ['0', '1'],
        # 第一个字段的key
        'first_sequece': 'setece1',
        # 第二个字段的key
        'secod_sequece': 'setece2',
        # label的key
        'label': 'label',
    }
}
# lr_scheduler的配置
cfg.trai.lr_scheduler.total_iters = it(le(dataset['trai']) / 32) * cfg.trai.max_epochs
retur cfg

基于BERT的中文Base预训练模型介绍（文档更新中） BERT的中文Base预训练模型是使用wikipedia数据和masked language model任务训练的中文自然语言理解预训练模型。