图像识别

* 迎宾机器人面向的行业主要有： 银行业、金融服务行业、商业地产、智能家居、公共服务、酒店与旅游、展会与会议、医疗与健康等。 * 业务场景举例： 客户接待：在银行大厅或自助服务区，迎宾机器人可以接待客户，提供业务指引和咨询服务，帮助客户快速找到所需服务窗口或设备。 信息查询：帮助客户查询银行业务信息，如账户余额、转账手续费、贷款信息等。 业务引导：引导客户完成自助业务操作，如办理开户、修改密码、申请信用卡等，提升客户办理业务的效率。 金融咨询：在金融服务公司或财富管理中心，迎宾机器人可以提供投资建议、产品介绍、风险评估等服务。 产品推荐：根据客户的需求和金融状况，推荐适合的金融产品或服务。 物业管理：在大型商业中心或写字楼，迎宾机器人可以为访客提供楼层指引、商铺信息、会议安排等服务。 客户服务：提供客户服务支持，解答访客的常见问题，提升客户体验。 家庭服务：在智能家居环境中，迎宾机器人可以作为家庭助手，提供生活信息、家庭日程提醒、设备控制等功能。 安全监控：提供家庭安全监控和紧急报警服务，增强家庭安全感。 政府机构：在政府办事大厅，迎宾机器人可以协助办事群众了解办理流程、材料要求、排队情况等信息。 社区服务：在社区服务中心，迎宾机器人可以提供社区活动信息、服务申请、居民咨询等服务。 宾客接待：在酒店大堂，迎宾机器人可以为宾客提供入住信息、房间服务、周边旅游推荐等。 旅游咨询：在旅游景点或旅游中心，迎宾机器人可以为游客提供景点介绍、路线规划、票务服务等。 展会服务：在展览会或大型会议中，迎宾机器人可以帮助参展人员和观众找到展位、会议室、餐饮区等。 会议助理：提供会议日程、讲座信息、会议记录等支持，提升会议的组织和管理效率。 医院接待：在医院大厅，迎宾机器人可以引导患者和家属到达科室、挂号、缴费等。 健康咨询：提供基本的健康信息和咨询，辅助患者了解就医流程和注意事项。 * 功能模块、具体实现的功能： 导航与引导模块： 提供实时导航帮助，指引客户到达指定地点（例如：银行柜台、ATM、自助服务机等）。 显示地图信息，标示出重要区域和服务窗口。 信息查询模块： 提供有关银行产品、服务、利率、手续费等信息查询。 解答客户的常见问题，例如账户余额查询、转账流程等。 自助服务模块： 协助客户完成自助业务操作，如开户、密码修改、贷款申请等。 引导客户使用自助设备（例如：自助存取款机）。 客户服务模块： 提供在线客户服务和咨询，帮助解决客户在业务办理中遇到的问题。 收集客户反馈和建议。 宣传与推广模块： 播放银行的推广活动、产品介绍和优惠信息。 提供即将举办的活动信息（例如：金融知识讲座、客户答谢活动等）。 * 技术选型 硬件选择： 处理器：采用单板计算机。 传感器：使用摄像头、麦克风、触摸屏、距离传感器、雷达等硬件。 运动系统：轮式。 软件平台： 操作系统：Android。 开发框架：ROS。 语音识别和处理：讯飞。 计算机视觉：OpenCV 处理人脸识别、物体检测等功能。 通信技术： 无线通信：支持Wi-Fi、4G/5G等无线通信技术， 网络协议：HTTP/HTTPS、MQTT。 * 架构特点 模块化设计：将系统划分为多个功能模块（如导航、信息查询、自助服务等），每个模块独立开发和维护，确保系统的可扩展性和易维护性。 实时性：保证系统能够实时响应用户操作和环境变化，如实时导航、语音响应等。 低延迟：优化系统架构和通信协议，减少数据传输和处理的延迟。 安全性：实施数据加密、用户身份验证和访问控制，保护用户数据和系统安全。 人机交互：设计友好的用户界面和交互方式，如自然语言对话、触摸操作，提升用户体验。 适应性：根据用户反馈和实际应用场景，持续优化系统功能和交互方式。 人工智能：集成机器学习和人工智能算法，使机器人具备学习和适应能力，提高服务质量。 自适应系统：通过分析用户行为和反馈，自动调整服务策略和内容。

一）研究目的 本项目实现一款基于wechaty的多功能服务机器人，制作一个校园官方的“朋友圈”，学生可以通过微信平台，以自然语言对话的方式简便快速地完成校内日常事务及活动发布推广；也可以通过与智能机器人对话方式获取如图像处理等趣味功能，丰富校园生活并且提升学校形象。 （二）研究内容 大学生在校园中常常有丢失物品的情况，通常会通过校园墙等渠道大海捞针式的寻找，耗时费力。如果能够借助wechaty，拾到失物者通过向微信服务机器人发送失物照片，借助AI技术对失物进行识别，即可快速匹配联系到失主。 学校管理中有大量的规章制度．例如学生竞赛、项目报销、最新防疫政策、毕业设计相关流程和要求等。师生们通常遇到问题是不知道去哪里查找对应的政策，甚至不知道该找谁询问，导致在流程上耗费了大量的时间和精力。如果能够有一个智能且友好的接入服务，针对提出的疑问自动答复，将会有力提高校园运转效率。 互联网时代传统学校招生方式也越来越不受年轻人喜欢。如何提供一种更有亲和力，更有趣的方式吸引年轻人的注意，介绍并且推广学校是一个非常需要考虑的问题。通过微信接口，可以给大众以问答的形式，实时回答各种关于至诚学院的问题。同时提供一些有趣的Al服务，例如对将个人照片嵌入校园风光，照片动漫化等。

项目分为图像识别模块，运动控制模块，决策感知模块。 我在该项目中负责图像识别和运动控制模块代码的编写。使用OpenCV+naoqi实现对Nao机器人的球、球门的识别以及射门的动作。

***旅行助手机器人（内测中） 旅行助手机器人-签证/海关助手： 知识库包括100多个国家的签证和海关政策，可以用使用者的母语回答提问， 解放用户不得不翻阅晦涩外文资料之苦。 知识库能在1天~1周时间内得到最新更新。 旅行助手机器人-酒店助手： 包括20多个国家（持续增加中）的酒店信息，知识库来源包括英文和其它外文网站和YouTube, Ins等，信息量不是那几个中文网站能相比的。 对于未收录酒店，支持商家自行提交图文信息供收录。 后端引擎使用GPT4v等多模态模型，可以识别图片中的信息，例如商家的图片中有日出的图片，即便酒店的描述、评价中均没有出现”日出“的字样，用户查询”可以看日出的酒店“，也可以查到该酒店，给用户的体验不是酒店预定平台能比的。 本机器人可以用使用者的母语回答用户的提问。 旅行助手机器人-美食美酒助手： 包括20多个国家（持续增加中）的酒店信息，知识库来源包括英文和其它外文网站和YouTube, Ins等。 因为许多美食的点评/评价一般只有图片，用户很少或者几乎不写文字，所以一般的搜索平台不太容易搜索到呢。 本机器人后端引擎使用GPT4v等多模态模型，可以识别图片/视频中的信息，轻松网罗Ins等平台的精品餐馆、酒馆，给用户的体验不是其它搜索平台能比的。 本机器人可以用使用者的母语回答用户的提问。 旅行助手机器人-景点玩乐助手： 知识库包括100多个国家的景点信息，除了文字信息，还有YouTube, Ins等平台上用户以视频/图片分享的各种玩法。 本机器人可以用使用者的母语回答用户的提问。 还有 旅行助手机器人-行程规划 等等机器人。 负责部分： LlamaIndex + RAG收集和整理知识库； LangChain实现提问分发和上下文记忆；llama2、claude 、GPT4v和 Zephyr等后端大语言模型评测； TG机器人。 诚征相关领域的持牌商家在贵国/地区展开合作， 可以单纯在机器人回答下方展示广告，也可以白标机器人，也可以买断技术/知识产权。机器人可以在TG、WhatsApp、H5 web端等提供服务。