专注于大模型边缘部署与优化，应用开发

## 技术专长

- LLM 推理优化：量化（PTQ/QAT）、算子融合、KV Cache 优化

- 边缘部署：TPU/NPU/GPU，从嵌入式到云服务器

- 分布式推理：模型切分、通信优化、负载均衡

- 推理引擎：QNN、SNPE、ONNX Runtime、TensorRT、vLLM

## 开源项目

- LangChain-Chatchat-TPU（18⭐）：本地知识库问答系统

- ChatDoc-TPU（13⭐）：边缘 TPU 部署方案

- WeNet-TPU（6⭐）：语音识别 TPU 部署

- 总计 41 个仓库，85+ Stars

## 技术文章

- CSDN 博主：151 篇原创，17k+ 粉丝

- 专栏：并行计算（43 篇）、LLM（18 篇）、强化学习（40 篇）

- 总访问量：50 万+

## 提供服务

1. LLM 边缘部署咨询与开发

2. 模型量化与推理优化

3. 分布式推理架构设计

4. 企业级 AI 系统架构设计