轻量化模型的优化产品系统

大尺寸 AI 模型推理算力开销大、参数量高，在边缘设备、嵌入式终端部署时，存在推理延迟高、显存占用大、硬件资源不足的产品痛点，很难落地到低算力硬件的实际业务当中。当前 AI 落地场景不断向端侧延伸，自动驾驶终端、嵌入式感知设备、本地 AI Agent 等业务，都迫切需要在保证模型精度损失可控的前提下降低模型资源消耗，因此开展本轻量化模型优化项目。

本项目包含模型量化模块、模型剪枝模块、知识蒸馏模块、精度评估对比模块、推理部署验证模块五大核心模块。项目针对预训练大模型完成多维度轻量化处理，支持 INT8/FP16 不同精度量化压缩，可对模型冗余权重进行结构化剪枝，借助教师‑学生蒸馏框架完成知识迁移；同时提供完整的精度、推理时延、显存占用评测能力，自动对比优化前后模型各项指标，输出优化报告，并且能够导出适配端侧推理框架的模型文件，验证优化后模型在受限硬件上的实际运行效果。

本人负责整体方案设计，实现模型蒸馏策略调优、量化算子适配开发，编写优化前后指标对比脚本，设计多组对照实验定位精度损耗问题，完成模型导出与端侧效果验证。项目技术栈使用 Python、PyTorch、ONNX，基于教师‑学生架构完成模型压缩，对接端侧推理库完成模型导出验证。项目亮点在于组合多种压缩手段，做到精度下降幅度可控的同时大幅压缩模型体积；难点是平衡模型压缩率与推理精度，部分算子量化会出现精度退化，需要反复调参缓解性能损失。