本项目面向「本地优先的 AI 应用工程」学习与演示场景:个人/小团队希望用本机 Ollama 跑小模型,完成知识问答、流程编排与文件助手,又不想把数据与对话送上云。痛点包括:直接调云端 API 难理解上下文/延迟/工具调用失败等工程约束;通用聊天页缺少可复用的 RAG、工作流与权限能力;Web 与桌面双端重复造业务。项目以本地模型为硬边界,把对话、知识库、可视化工作流与 Agent 工具串成可交付系统,验证从基线测评、契约分层到鉴权与可观测的完整闭环。
点击空白处退出提示
本项目面向「本地优先的 AI 应用工程」学习与演示场景:个人/小团队希望用本机 Ollama 跑小模型,完成知识问答、流程编排与文件助手,又不想把数据与对话送上云。痛点包括:直接调云端 API 难理解上下文/延迟/工具调用失败等工程约束;通用聊天页缺少可复用的 RAG、工作流与权限能力;Web 与桌面双端重复造业务。项目以本地模型为硬边界,把对话、知识库、可视化工作流与 Agent 工具串成可交付系统,验证从基线测评、契约分层到鉴权与可观测的完整闭环。
统一 AI 对话:会话管理、流式输出、本地模型切换;可挂载知识库做 RAG 问答与引用溯源;支持工具调用与本地文件访问(读/写/搜索,路径沙箱与审批)。可视化工作流:类 Dify 画布,含 LLM、知识检索、条件、变量、代码、HTTP 等节点,支持运行高亮、执行日志与单节点调试。知识库:文档上传、分块索引、向量检索(pgvector)。账号与权限:访客自动签发,手机号/邮箱 + 静态验证码注册,密码或验证码登录,Bearer 会话;guest/user/admin 权限隔离业务资源。另含 MCP 工具接入、中日英界面、开发期 LLM 指标面板(/dev/observability),以及 Web 与 macOS 桌面(Tauri sidecar)双端交付。
本人独立完成从架构设计到双端交付:规划 monorepo 分层(contracts / platform / app-core / ui),NestJS 后端实现 LLM 网关、RAG、工作流引擎与鉴权;前端 React 业务与平台适配;桌面端 Tauri sidecar 打包。技术栈为 NestJS 11 + Drizzle/PostgreSQL + Ollama,前端 React 19 + Vite + TanStack Query,契约用 zod。亮点:小模型能力以实测基线约束工具数量;工作流微内核插件化;鉴权自研 Bearer session(非 JWT),全局 Guard + 权限码;路径沙箱与日志脱敏;pino + traceId 与 LLM 指标环形缓冲。难点在小模型工具调用不稳定、Web/桌面端无关性、以及路径逃逸与提示词注入等安全边界的落地与测试门禁。





评论