### 项目介绍：Chat-甄嬛
#### 1. 本项目解决了什么问题
Chat-甄嬛 是一个基于《甄嬛传》剧本的个性化 AI 聊天机器人项目，旨在通过大模型微调技术，打造一个符合甄嬛角色人设的智能对话系统。它解决了以下问题：
- **角色个性化对话**：通过微调大模型，Chat-甄嬛 能够模仿甄嬛的语气和风格，提供符合角色设定的对话体验，满足用户对个性化 AI 的需求。
- **剧本数据利用**：将《甄嬛传》剧本中的台词和对话转化为训练数据，充分利用现有文本资源，降低了数据收集和处理的成本。
- **开源与可扩展性**：项目开源，开发者可以基于此项目快速构建其他小说或剧本角色的个性化 AI，推动了 AI 技术在文学领域的应用。
#### 2. 本项目的技术选型，技术特点或性能表现
Chat-甄嬛 的技术选型和特点如下：
- **技术选型**：
- **大模型微调**：基于 LLaMA3_1-8B-Instruct 模型，使用 LoRA（Low-Rank Adaptation）技术进行微调，降低了训练成本，同时保持了模型的高性能。
- **数据处理工具**：使用正则表达式和自定义脚本从剧本中提取对话数据，并将其转换为适合模型训练的格式（如 JSON）。
- **训练框架**：采用 PyTorch 和 Hugging Face 的 Transformers 库，结合 Peft 库实现 LoRA 微调，简化了训练流程。
- **技术特点**：
- **角色一致性**：通过微调，模型能够生成符合甄嬛角色设定的对话，语气、用词和情感表达高度一致。
- **多轮对话支持**：模型能够理解上下文，支持多轮对话，增强了交互的自然性和连贯性。
- **高效训练**：LoRA 技术显著减少了训练所需的计算资源，使得在消费级 GPU 上也能完成模型微调。
- **性能表现**：
- **对话质量**：在测试中，Chat-甄嬛 生成的回复与甄嬛的角色设定高度契合，用户满意度较高。
- **训练效率**：在单卡 GPU 上，完成一次微调训练仅需 20-30 分钟，显著降低了时间和硬件成本。
#### 3. 如何快速上手本项目
要快速上手 Chat-甄嬛 项目，可以按照以下步骤进行：
1. **环境准备**：
- 安装 Python 3.12 和 CUDA 12.1（如需 GPU 加速）。
- 安装 PyTorch 2.3.0 及其他依赖库：
```bash
pip install modelscope==1.16.1 transformers==4.43.1 accelerate==0.32.1 peft==0.11.1 datasets==2.20.0
```
2. **克隆项目**：
```bash
git clone https://github.com/KMnO4-zx/huanhuan-chat.git
cd huanhuan-chat
```
3. **数据准备**：
- 将《甄嬛传》剧本数据转换为 JSON 格式，示例格式如下：
```json
[
{"instruction": "小姐，别的秀女都在求中选，唯有咱们小姐想被撂牌子，菩萨一定记得真真儿的——", "input": "", "output": "嘘——都说许愿说破是不灵的。"}
]
```
- 将处理好的数据放置在 `dataset/train/lora/` 目录下。
4. **模型下载与微调**：
- 下载 LLaMA3_1-8B-Instruct 模型：
```python
import torch
from modelscope import snapshot_download
model_dir = snapshot_download('LLM-Research/Meta-Llama-3.1-8B-Instruct', cache_dir='/path/to/cache')
```
- 运行训练脚本：
```bash
python train.py
```
5. **模型测试**：
- 使用训练好的模型进行对话测试：
```python
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
model_path = './LLM-Research/Meta-Llama-3___1-8B-Instruct'
lora_path = './output/llama3_1_instruct_lora/checkpoint-699'
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto", torch_dtype=torch.bfloat16, trust_remote_code=True).eval()
model = PeftModel.from_pretrained(model, model_id=lora_path)
prompt = "嬛嬛你怎么了，朕替你打抱不平！"
messages = [{"role": "system", "content": "假设你是皇帝身边的女人--甄嬛。"}, {"role": "user", "content": prompt}]
input_ids = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
model_inputs = tokenizer([input_ids], return_tensors="pt").to('cuda')
generated_ids = model.generate(model_inputs.input_ids, max_new_tokens=512)
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print('皇上：', prompt)
print('嬛嬛：', response)
```
6. **定制与扩展**：
- 如果需要微调其他角色，可以替换数据集并重新训练。
- 欢迎提交 Pull Request，参与项目的改进和扩展。
通过以上步骤，您可以快速上手 Chat-甄嬛 项目，并根据需要定制属于自己的个性化 AI 聊天机器人。
