教学行为分析系统产品系统

1、立项原因，旨在解决什么产品问题
传统师范生教学技能实训主要依靠教师人工评课，评价主观性强、缺少量化数据支撑，很难完整捕捉板书、肢体姿态、面部表情、语音语调等全过程细节指标。人工点评受师资数量限制，无法做到每位学员每次训练都得到细致、客观、可复现的过程性反馈；学员无法直观获知腿部晃动、姿态语音同步度、板书布局、表情分布等隐性问题。本项目基于多模态AI分析，对试讲视频音频做全维度量化解析，自动生成标准化AI分析报告，解决实训评价主观化、反馈不及时、细节指标无法统计的痛点，为学员改进教学基本功提供客观数据依据。
2、行业场景，业务背景
在高职、师范院校幼教等教师技能训练场景，微格教学实训是培养师范生教姿教态、板书书写、语言表达、课堂表现力的核心环节。随着教育数字化推进，传统人工评课模式已难以适配大批量学员常态化训练需求。当前缺少一套完整覆盖板书分析、人体姿态识别、表情识别、音频语义分析的一体化实训测评工具，本项目面向师范生技能训练室，通过摄像头与音频采集，完成肢体姿态、板书规范、表情、语音多维度算法分析，输出可视化分析报告，辅助实训教学、考核评价、学员自我复盘，支撑教师教育数字化实训落地。

1、项目有哪些具体功能模块
项目分为五大核心模块：板书智能分析模块、教学姿态识别模块、面部表情分析模块、音频语音解析模块、报告生成输出模块。板书模块解析字体规范、布局、行间距、倾斜度、色彩指标；姿态模块识别人体各类教学动作，统计肩腿状态、姿态语音同步指标；表情模块统计表情种类、时长与时间分布；音频模块完成端点检测、关键词识别、语速语调流利度计算；报告模块汇总全部指标，输出可视化AI实训分析报告。
2、项目的主要功能描述
系统接收试讲音视频流，通过多模态AI算法完成全维度教学技能量化分析。识别手臂上举、侧身、背身等教学姿态，统计肢体晃动、姿态变换、姿态语音配合度；解析板书书写各项规范指标；识别快乐、悲伤等六类基础表情；对音频做端点检测，计算语速、音量、流利度，识别预设关键词、口头语。汇总全部时序数据，自动生成带图表、评语的标准化技能训练AI分析报告，为师范生教学实训提供客观量化评价依据，算法可部署于Linux嵌入式docker环境运行。

1、“我”负责哪些具体任务
负责视频流与本地视频的解析处理，开发人体姿态状态机，实现各类教学姿态时序统计、片段合并；对接RTSP摄像头流与离线视频两条分析链路；完成板书、姿态、表情、音频多模块数据汇总，开发对外业务接口；配合完成报告数据组装，参与功能联调、问题排查，输出部分部署与接口文档，保障算法可在Linux嵌入式环境稳定运行。
2、项目使用了哪些技术栈、架构，实现上亮点、难点
技术栈：Python、FastAPI、OpenCV、姿态关键点检测模型、音频处理库；采用多模态流水线架构，视频、音频并行推理，状态机做时序行为聚合，对外提供标准化接口，支持嵌入式部署。 亮点：同时支持离线视频文件、RTSP实时流两种输入；通过状态机做姿态时序平滑，过滤帧级抖动；多模态指标融合计算姿态语音同步度，自动输出带图表与评语的实训报告。 难点：摄像头画面光照变化带来姿态识别抖动；肢体动作与语音峰值毫秒级时序对齐；板书手写文字OCR与布局指标计算；嵌入式设备算力受限下保证72小时高负载稳定运行，整体分析精度满足≥90%验收指标。