1. 立项原因
项目针对当前文博文旅数字化产品现存痛点立项，核心解决五大问题：传统人工讲解成本高、名额有限；租赁讲解器硬件损耗大、仅支持固定音频无交互；室内GPS定位漂移、无法精准匹配展品；游客只能被动接收信息，无自主问答入口；中小场馆数字化成本高，缺少轻量化部署方案，打通游客与文博知识的交互壁垒。
1. 行业场景
国内文旅文博加速数字化、智慧化升级，沉浸式、交互式游览成为行业主流需求。目前多数博物馆、文旅景区仍以单向讲解、静态展牌为主，缺乏室内外一体化精准导览与AI智能交互能力。基于微信小程序的轻量化文博服务，可覆盖综合博物馆、古建筑景区、红色教育基地、研学科普基地等场景，适配B端场馆降本增效、C端游客个性化游览的双向业务需求。
1. 功能模块
1.1. 蓝牙精准点位推送模块；1.2. 多模态AI智能问答模块；1.3. 多场馆资源聚合模块；1.4. 游客辅助导览模块。
2. 主要功能描述
2.1. 蓝牙点位推送：通过蓝牙信标实现1-3米精准定位，自动推送文物/景点图文、语音讲解，支持成人、儿童、专业版分层内容；
2.2. AI多模态问答：支持文字、语音、拍照识图三种提问方式，依托文博大模型输出权威答疑，支持上下文连续追问；
2.3. 资源聚合：汇聚全国博物馆、景区资源，支持离线缓存无网使用；
3.4. 辅助导览：提供室内地图、路线规划、文物收藏功能。
1. 个人核心负责任务
1.1. 负责ASR语音识别、TTS语音合成能力集成与调优，支撑小程序语音问答、讲解音频播报；
1.2. 搭建RTC实时播报，开发运维文博数字大屏&数字人可视化模块，完成数据联动渲染与交互逻辑；
1.3. 编写Java代理工程，承接小程序、AI模型、后台中台之间的接口转发、权限校验、流量透传；
1.4. 负责全域数据运维，管控业务数据、文博知识库、用户行为数据的存储、清洗、同步；
1.5. 基于Dify编排文博大模型应用流程，优化问答召回、上下文管理、知识库检索链路。
2. 技术栈、架构及实现亮点与难点
技术栈：后端核心Java/SpringBoot；数据库MySQL（业务持久化）、Redis（缓存）；AI应用层Dify（大模型流程编排、知识库RAG）；音视频能力ASR、TTS、RTC实时传输。
整体架构：采用微服务分层架构，分为终端接入层、Java代理网关层、数据缓存层、AI能力层，实现多端统一调度。
亮点：基于Dify轻量化私有化部署文博大模型应用；Redis缓存蓝牙点位与热门问答，大幅降低响应延迟；Java代理工程解耦前端与AI服务，提升安全性；私有化部署语音模型，实现沉浸式讲解交互。
难点：场馆复杂环境下ASR方言/环境噪声降噪优化；TTS文博专业术语发音校准；RTC低延迟播报。
评论