立项原因：市面上的学习类产品大多只支持单一输入方式——题库只能敲公式，视频课只能看不能问，学生拍一张手写草稿、录一段口语、截一段课件，系统就无能为力；同时大模型给出的答案缺少可信来源，学生不敢直接采信。我们希望做一个"能看懂、能听懂、能讲清楚"的学习助手，把图片、语音、文本统一到同一条理解链路上。
行业场景：面向 K12 与高校自学场景，典型业务是拍照搜题与逐步讲解、口语跟读评分、课件与论文截图问答、错题自动归档与同类题推荐。用户以学生为主、教师为辅：学生需要即时答疑和可回看的解题过程，教师需要批量掌握班级共性错题。产品以 Web + 桌面端交付，支持校内私有化部署，学生数据不出校。
系统由六个模块组成：1）多模态输入网关：图片与 PDF 走 OCR 加版面分析，语音走 ASR，文本直接进入统一的内容归一化管道，输出结构化题目对象；2）题目理解与求解：识别学科与题型，调用大模型分步求解，输出"思路—步骤—答案"三段式讲解，公式用 LaTeX 渲染；3）语音跟读评测：录音上传后做 ASR 与强制对齐，给出准确度、流利度、完整度三项评分和逐词高亮纠音；4）错题本与知识图谱：每次问答自动归档为错题卡片，按知识点打标签，生成掌握度雷达图并推荐同类题；5）检索增强问答：教材、讲义切片入向量库，回答时附带原文出处与页码，降低幻觉；6）教师端看板：班级错题分布、知识点薄弱排行、一键导出周报。此外提供会话历史、收藏夹、暗色主题与移动端适配。
我负责整体架构与核心链路：需求拆解、技术选型、前后端接口设计，独立完成多模态输入网关、求解讲解链路、检索增强问答与前端主要页面，并负责部署和压测。
技术栈：前端 Vue 3 + TypeScript + Vite + Quasar，后端 Python FastAPI + Celery 异步任务，PostgreSQL + pgvector 同时存业务数据和向量，Redis 做队列与缓存，对象存储放原图与音频；模型侧接入 PaddleOCR、Whisper 与兼容 OpenAI 协议的本地/云端大模型。
亮点与难点：①多模态归一化，把图片、PDF、音频统一成同一份结构化输入，用任务编排加幂等重试保证长耗时任务不丢失；②流式输出，求解结果通过 SSE 逐字下发，首字延迟从 6s 降到 1.2s；③幻觉控制，答案必须携带检索到的原文片段与页码，无出处时降级为"只讲解不下结论"；④成本控制，图片先做压缩与版面裁剪、简单题路由到小模型，整体推理成本下降约 40%。
评论