基于transform的文本生成产品系统

立项原因：帮助小说创作者减少码字困难，提供灵感。
行业背景：相比于本地部署大模型，算力要求较小，部署难度更低。

1、项目功能模块
本项目包含五大核心模块：数据预处理模块（字符级词表构建、编码解码、批量采样）；模型架构模块（多头注意力机制、前馈网络、Transformer块堆叠、位置编码）；训练优化模块（Adam优化器、交叉熵损失计算、梯度更新与监控）；文本生成模块（自回归推理、上下文截断、随机采样生成）；模型持久化模块（权重保存加载、训练状态恢复）。
2、项目的主要功能描述
基于网络小说语料训练字符级语言模型，实现文本续写生成。支持在大显存环境下训练，可在低显存环境推理部署。采用Transformer架构捕捉长距离上下文依赖，具备模块化设计，可扩展至视觉等跨模态任务

1、负责的任务
负责网络小说语料的清洗与字符级词表构建，实现基于PyTorch的Transformer架构（含多头注意力、前馈网络及残差连接），开发训练流程与Checkpoint保存机制，完成30GB显存环境下的模型训练及超参数调优，并实现在4GB显存设备上的轻量化推理部署与文本续写功能。
2、项目使用了哪些技术栈、架构，实现上亮点、难点？
技术栈为Python+PyTorch，基于CUDA加速。架构采用标准Transformer解码器，含多头自注意力、层归一化与因果掩码。亮点是字符级生成无需预训练分词器，支持长文本依赖建模；难点在于长序列的显存占用优化（梯度累积/混合精度）及字符级词表对生僻字的OOV处理。