边缘计算

面向端侧推理的大语言模型知识蒸馏实验项目。选型CogLang——一个面向用药安全领域的专用大模型作为教师模型,通过激活迁移和层剪枝技术将其核心能力压缩为学生小模型,目标是在药名识别和相互作用判断任务上保持90%以上准确率的同时将推理延迟降低至端侧可接受范围。技术路线包括:教师模型特定层的激活值提取与
330Python人工智能
当前共1个项目more
×
寻找源码
源码描述
联系方式
提交