云凝AI（大模型本地部署）产品系统

公司配套液冷服务提供的定制化项目，计划对接医疗机构、政府部门，包含RAG知识库、联网搜索等功能。

本地化AI大模型能够保证机构数据安全、降低网络依赖、提高知识库的可控和定制化。包括了前端web页面 后端服务器 大模型 向量数据库。用户可以本地部署的大模型进行本地调用，无需计算token消耗。

1. 负责该项目的前端页面搭建以及后端服务开发，相关接口对接、测试，同时参与技术选型，难点攻克
-难点一：大模型端、前端、后端协调。
使用解决方案：①前端请求到后端服务器 -> ②后端通过function call调用大模型 -> ③大模型响应数据到后端 -> ④后端服务器
流式http响应到前端 -> ⑤服务端在结束流式数据后持久化缓存数据。
-难点二：RAG知识库的搭建和使用。
使用解决方案：①nomic-embed-text为embeding模型切片处理知识库文件 -> ②redis-stack作为向量型数据库存储 -> ③embeding
模型拟合数据交予LLM处理。
-难点三：基于网络搜索的大模型问答。
使用解决方案：①前端请求到服务器 -> ②后端服务调用google search API，返回检索结果 -> ③LLM处理检索结果后，返回响应

2. 负责该项目的大模型部署及向量数据库搭建，最终代码迁移部署镜像打包。
-难点一：部署不同服务器的兼容和迁移问题。
使用解决方案：以DockerFile将前端、后端、Ollama大模型和其他中间件服务镜像容器化处理