vLLM-Kunlun (百度昆仑芯大模型推理框架)开源项目

• 项目角色: 贡献者 (Contributor) | 开源地址: https://github.com/baidu/vLLM-Kunlun
• 项目背景: vLLM-Kunlun 旨在将 PagedAttention 等核心技术适配至百度昆仑芯 (XPU) 硬件，支持 Qwen 等主流模型的高性
能推理。
• 技术栈:
– 核心语言：Python (PyTorch), C++
– 硬件环境：NVIDIA A800 (Golden Baseline) vs Kunlun P800 (Target)
• 核心贡献：
1. 异构硬件算子精度调试 (System Debugging):
– 问题攻坚：解决 Qwen2.5-7B 模型在 P800 (Float16) 环境下推理输出乱码的问题。
– 根因定位：通过统计分析发现，进入 Attention 层前的 Q/K/V，q_seq_start_loc 等张量均值与方差在双端完全一
致，但输出张量出现差异。成功将故障范围从整个模型缩小至 Attention 算子内部，协助团队修复了 XPU 算子
的计算逻辑缺陷。
2. 开源生态与工程化建设:
– 文档工程：负责项目官方文档网站搭建 (Sphinx+ReadTheDocs)。撰写相关开发文档，降低开发者准入门槛。
– 质量保障：负责版本发布的准出测试，建立 Qwen 等系列模型的精度与性能 Benchmark 基准。
• 项目成果：
– 名字被收录于官方文档 Acknowledgments：https://vllm-kunlun.readthedocs.io/en/latest/community/contributors.html