为四川理塘景区实体旅游机器人"可乐"开发核心Android嵌入式控制程序,运行于RK3288 ARM主控板,集成语音交互、AI问答、运动控制、人脸识别、音视频通话、GPS定位等完整功能,实现全语音驱动的智能化旅游导览体验。
点击空白处退出提示
为四川理塘景区实体旅游机器人"可乐"开发核心Android嵌入式控制程序,运行于RK3288 ARM主控板,集成语音交互、AI问答、运动控制、人脸识别、音视频通话、GPS定位等完整功能,实现全语音驱动的智能化旅游导览体验。
集成语音交互、AI问答、运动控制、人脸识别、音视频通话、GPS定位等完整功能,实现全语音驱动的智能化旅游导览体验
•双引擎语音交互:设计离线唤醒词(BoatCore)+ 云端识别(讯飞IFlytek)协同方案,兼顾低延迟唤醒与高精度语义识别,语音指令覆盖运动控制、AI问答、音乐播放等全部功能入口。
•多轮AI智能问答:接入自部署GLM-4大模型(OpenAI兼容Chat Completion API),维护最多20轮上下文实现连续对话;同时保留旧版TCP自定义协议(长度前缀 + GBK编码)兼容历史后端。
•多进程架构设计:将音视频通话(腾讯IoT SDK)和消息推送(信鸽XGPush)拆分至独立进程(:video、:xg_service_v3),通过AIDL与Broadcast实现跨进程通信,解耦主进程UI与重资源任务。
•人脸识别迎宾:集成盛开SKFaceSDK,实时采集Camera YUV数据完成人脸检测与云端识别,Canvas绘制人脸框标注年龄/性别,通过Broadcast驱动TTS播报个性化欢迎语。
核心职责与技术亮点:
•双引擎语音交互:设计离线唤醒词(BoatCore)+ 云端识别(讯飞IFlytek)协同方案,兼顾低延迟唤醒与高精度语义识别,语音指令覆盖运动控制、AI问答、音乐播放等全部功能入口。
•多轮AI智能问答:接入自部署GLM-4大模型(OpenAI兼容Chat Completion API),维护最多20轮上下文实现连续对话;同时保留旧版TCP自定义协议(长度前缀 + GBK编码)兼容历史后端。
•多进程架构设计:将音视频通话(腾讯IoT SDK)和消息推送(信鸽XGPush)拆分至独立进程(:video、:xg_service_v3),通过AIDL与Broadcast实现跨进程通信,解耦主进程UI与重资源任务。
•人脸识别迎宾:集成盛开SKFaceSDK,实时采集Camera YUV数据完成人脸检测与云端识别,Canvas绘制人脸框标注年龄/性别,通过Broadcast驱动TTS播报个性化欢迎语。
•构建兼容性攻关:针对讯飞Msc.jar旧字节码与D8编译器不兼容问题,设计"pre-dex(dx工具)→ 注入APK → 重新签名(apksigner)"的自定义Gradle构建链,保障在RK3288旧Android系统上稳定运行。
远程控制体系:基于信鸽推送实现远程音量调节、底盘运动控制、TTS播报下发及固件OTA升级,结合GPS定位上报构建完整远程运维闭环。



评论