项目简介: 整体的对话系统架构支持了任务型对话，大模型生成式对话两种大的技术方向，在智能座舱，虚拟人直播电商，金融垂域大模型等多个业务线上落地。覆盖了任务型对话的多轮对话，大模型人设问答，大模型文档型问答，大模型搜索式问答等多种业务场景。项目分工: 整体业务包括7个大的业务模块，主要包括底层架构API的设计，对话基础服务，对话AI中台，垂域语义理解，垂域技能实现，大模型底层推理服务，大模型推理加速优化。 本人在项目中负责整体的架构设计，整体服务的开发和部署，大模型得训练与微调，大模型推理加速的技术指导等等。解决问题: 完成了项目整体的开发与部署，对话系统整体上支持了任务型对话和大模型生成式对话的多种业务场景，接入了智能座舱和银行金融智能客服等复杂的商用业务场景。通过模型推理加速以后，模型推理耗时达到业界前沿水平。