中文情感分类模型介绍

情感分类任务，通常为输入一段句子或一段话，返回该段话正向/负向的情感极性，在用户评价，观点抽取，意图识别中往往起到重要作用。而在电商场景中，情感分类显得尤为重要，可以通过对商品评论情感极性的分析，作为对商品质量及相关服务质量把控的重要参考依据。通义千问-1.8B中文情感分类模型是基于百万电商评价数据训练出来的情感分类模型。

模型描述

模型基于通义千问-1.8B。通义千问-1.8B（Qwen-1.8B）是阿里云研发的通义千问大模型系列的18亿参数规模的模型。Qwen-1.8B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。

期望模型使用方式以及适用范围

你可以使用通义千问-1.8B中文情感分类模型模型，对通用领域的中文情感分类任务进行推理。 输入自然语言文本，模型会给出该文本的情感分类标签(0，1)，即（负面， 正面）以及相应的概率。

推理

# infer.py
import os
os.environ['CUDA_VISIBLE_DEVICES'] = '0'
import torch
import argparse
from swift.llm import (
DatasetName, InferArguments, ModelType, SftArguments,
infer_main, sft_main, app_ui_main, merge_lora_main
)

checkpoint_path = "./checkpoint-50"
model_type = ModelType.qwen_1_8b

print(f'best_model_checkpoint: {checkpoint_path}')
torch.cuda.empty_cache()
infer_args = InferArguments(
    ckpt_dir=checkpoint_path,
    load_dataset_config=True,
    do_sample=False)
result = infer_main(infer_args)

终端：

python infer.py

微调代码示例

环境配置：

git clone https://github.com/modelscope/swift.git
cd swift
pip install -e .[llm]

微调参数：

• --model_type: 表示选择的模型类型, 这里选择ModelType.qwen_1_8b

• --sft_type: 表示微调的方式, 可以选择的值包括: 'lora', 'full', 'longlora', 'qalora'. 这里使用'lora'.

• --train_dataset_sample: 对训练集进行采样. 用于加快训练的速度. 该参数是为了避免数据集过大, 单个epoch训练时间过长的问题. 如果你指定为-1, 则使用完整的训练集进行训练.

• --dataset: 微调数据集。这里使用京东电商评价数据.

微调代码：

import os
os.environ['CUDA_VISIBLE_DEVICES'] = '0'
import torch
from swift.llm import (
DatasetName, InferArguments, ModelType, SftArguments,
infer_main, sft_main, app_ui_main, merge_lora_main
)
model_type = ModelType.qwen_1_8b
sft_args = SftArguments(
    model_type=model_type,
    sft_type='lora',
    train_dataset_sample=2000,
    dataset=[DatasetName.jd_sentiment_zh],
    output_dir='output')
result = sft_main(sft_args)
best_model_checkpoint = result['best_model_checkpoint']
print(f'best_model_checkpoint: {best_model_checkpoint}')
torch.cuda.empty_cache()
infer_args = InferArguments(
    ckpt_dir=best_model_checkpoint,
    load_dataset_config=True,
    do_sample=False)
result = infer_main(infer_args)

训练数据介绍

数据来源于百万电商评价数据。

引用

@article{qwen,
  title={Qwen Technical Report},
  author={Jinze Bai and Shuai Bai and Yunfei Chu and Zeyu Cui and Kai Dang and Xiaodong Deng and Yang Fan and Wenbin Ge and Yu Han and Fei Huang and Binyuan Hui and Luo Ji and Mei Li and Junyang Lin and Runji Lin and Dayiheng Liu and Gao Liu and Chengqiang Lu and Keming Lu and Jianxin Ma and Rui Men and Xingzhang Ren and Xuancheng Ren and Chuanqi Tan and Sinan Tan and Jianhong Tu and Peng Wang and Shijie Wang and Wei Wang and Shengguang Wu and Benfeng Xu and Jin Xu and An Yang and Hao Yang and Jian Yang and Shusheng Yang and Yang Yao and Bowen Yu and Hongyi Yuan and Zheng Yuan and Jianwei Zhang and Xingxuan Zhang and Yichang Zhang and Zhenru Zhang and Chang Zhou and Jingren Zhou and Xiaohuan Zhou and Tianhang Zhu},
  journal={arXiv preprint arXiv:2309.16609},
  year={2023}
}