proginn1015127756
全职 · 800/日  ·  17400/月
工作时间: 周末10:00-06:00工作地点: 远程
服务企业: 0家累计提交: 0工时
聊一聊

APP聊一聊

个人介绍

我精通于LLM推理引擎在CPU上的优化,能从0开始手撕LLM整个推理引擎,能使大模型在低端设备上平稳运行。

工作经历

  • 2024-10-06 -至今保密大模型研发

    负责整个大模型模块的推理开发,算子开发,算子优化,LLM应用层开发,如RAG,Agent等。

教育经历

  • 2021-09-17 - 2025-10-06湖南农业大学信息与计算科学本科

语言

中文母语水平
0
1
2
3
4
5

技能

C++熟练
0
1
2
3
4
5
作品
离线CPU-LLM推理引擎

离线引擎能落地到非常多的行业和方向上,其中最直接、最具代表性的就是**AI伴侣**。借助高效离线推理,AI伴侣可以在本地设备上实现自然对话、情感交流与长期陪伴,而无需依赖网络连接或担心隐私泄露。它可以被嵌入到*、智能音箱、可穿戴设备甚至车载系统中,提供随时在线的交流体验。同时,离线运行还让AI伴侣

0
2025-10-16 10:31
更新于: 10-16 浏览: 26