面向高校与职业院校的课堂学情管理场景。传统课堂巡查依赖人工听课记录,教师难以在授课过程中同步掌握全班的抬头率、低头率、使用手机、趴桌、交谈等行为分布,教学督导也缺少可回溯的量化数据。本项目立项旨在用计算机视觉把课堂行为采集与学情统计自动化,为任课教师和教学管理部门提供客观、可追溯的课堂状态数据,降低人工巡课成本,并为教学评价提供数据支撑。
点击空白处退出提示
面向高校与职业院校的课堂学情管理场景。传统课堂巡查依赖人工听课记录,教师难以在授课过程中同步掌握全班的抬头率、低头率、使用手机、趴桌、交谈等行为分布,教学督导也缺少可回溯的量化数据。本项目立项旨在用计算机视觉把课堂行为采集与学情统计自动化,为任课教师和教学管理部门提供客观、可追溯的课堂状态数据,降低人工巡课成本,并为教学评价提供数据支撑。
系统包含五大模块:一、实时行为识别,基于 YOLOv8 完成教室画面中的学生与教师目标检测,再调用 5 个自研行为分类模型分别判定抬头、站立、使用手机、趴桌、交谈;二、课堂看板,按座位与时间轴展示行为分布、抬头率与异常行为占比;三、学情统计,按班级、课程、时间段汇总行为数据并生成趋势对比;四、教学辅助,支持 PPTX 一键转思维导图、教案与练习题生成(含答案、可保存)、英文内容翻译解析,接入通义千问与紫东太初;五、系统管理,基于 JWT 的登录鉴权、基于 bcrypt 的密码存储,以及班级、课程与用户权限管理。
我担任全栈开发与 AI 模型开发负责人,独立完成数据采集与标注、模型训练与调优、Flask 后端接口、前端页面开发和服务器部署。技术栈为 Python + PyTorch 2.5.1 + torchvision 0.20.1(CUDA 12.4)+ ultralytics 8.3.99(YOLOv8n)+ OpenCV 4.11 + Flask 3.1 + SQLAlchemy 2.0 + MySQL + LangChain 0.3.24 + OpenAI SDK 1.78。数据集为约 9000 张教室学生与教师图像,按 3:1 划分训练集与验证集。实现上先用目标检测锁定人物区域,再用轻量分类模型做行为判定,兼顾精度与推理速度;部署在本地服务器并通过内网穿透对外提供访问,用 Nginx 做反向代理,后续迁移到 ThinkPad E15 Gen4 上完成 CPU 推理验证。前端已在 Gitee 以 MIT 协议开源,可直接查看代码。




评论