multimodal-voice-assistant开源项目

实时语音识别 (Real-time Speech Recognition): 能够捕捉麦克风输入，并将用户的语音实时、准确地转换为文本。
自然语言理解 (Natural Language Understanding - NLU): 分析转换后的文本，理解用户的意图和关键信息（例如指令、询问的对象、参数等）。
对话管理 (Dialogue Management): 在多轮交互中维护对话状态和上下文，使对话更加连贯自然。
任务执行与技能调用 (Task Execution & Skill Invocation): 根据理解的用户意图，执行相应的操作，例如：
信息查询: 获取天气预报、时间、百科知识、新闻等。
媒体控制: 播放/暂停音乐、调整音量。
简单助理任务: 设置提醒、创建待办事项。
语音合成 (Text-to-Speech - TTS): 将助手的文本回复通过 edge-tts 转换成清晰自然的语音进行播放。
Web 界面交互 (Web Interface Interaction): 提供一个用户友好的网页界面，可以：
显示语音识别的文本和助手的回复。
允许用户通过文本输入与助手交互。
(可能) 展示图片、链接等多媒体信息。
多模态反馈 (Multimodal Feedback): 结合语音、文本以及可能的视觉元素（在Web界面上）来呈现信息和交互结果。
图像分析(Image Analysis): 可以通过pygame.camera调用摄像头或者截图当前页面，并与llm互动获取想要的信息
剪切板提取(Clipboard Management): 可以通过pypercli获取剪切板中的文本内容并自动判断是否需要进行执行
上下文管理(Context management): 通过EnhancedConversationContext类管理对话记录，支持记住或者遗忘特定信息，根据相似度判断是否清除旧的上下文，能够根据对话历史生成更相关的回复
日志记录(Logging): 使用rich库美化日志输出，并将日志保存到文件中
网页搜索(Search): 使用DuckDuckGo搜索用户指定的内容，并返回搜索结果摘要