coglang-drug-distill开源项目

面向端侧推理的大语言模型知识蒸馏实验项目。选型CogLang——一个面向用药安全领域的专用大模型作为教师模型，通过激活迁移和层剪枝技术将其核心能力压缩为学生小模型，目标是在药名识别和相互作用判断任务上保持90%以上准确率的同时将推理延迟降低至端侧可接受范围。技术路线包括：教师模型特定层的激活值提取与对齐训练、冗余注意力头的结构化剪枝、蒸馏损失与任务损失的联合优化。项目展示了LLM从云端到端侧的工程化落地流程，涉及模型微调、压缩、评估等完整链路。