手写LLM推理框架TFFInfer 产品系统Vibe Coding

前AI Infra领域，本质上就是HPC方法论在AI场景下的延伸。大模型的分布式训练（张量并行、流水线并行）、推理引擎的算子融合、显存优化，本质上都是HPC的通信模式、访存优化、并行调度在AI领域的应用。你在这个制造企业的HPC岗位，如果能掌握——国产硬件适配的经验（针对特定架构的优化能力）、性能分析工具链（perf、VTune、Nsight等）、大规模并行系统的debug能力——这些技能组合会让你在3-5年后成为市场上极度稀缺的人才。AI芯片公司（华为昇腾、寒武纪、燧原等）、大厂AI Infra团队（字节、阿里、腾讯）、自动驾驶公司的算力优化岗位，都会抢着要懂国产硬件、懂并行优化的人。

TFFInfer 是一个从零自主研发的大语言模型(LLM)推理框架,采用现代 C++20 标准开发,支持 CUDA GPU 加速。项目实现了完整的 LLM 推理流水线模型加载

模型加载(支持 GGUF 格式)
计算图构建与优化
显存管理与优化
KV Cache 管理
任务调度与并行执行
高性能 CUDA Kernel 实现