1.本方案面向实验室成员,解决因多人共用一台服务器跑深度学习任务,需频繁查询服务器是否空闲、且任务结束时间难知晓的问题,实现自动监控 GPU 显存占用,及时反馈状态。
2.相比手动查询服务器状态的常规方式,本方案可自动监控 GPU 显存占用,设定阈值(如 70%)后,超阈值或显存降低(如低于40%)时,自动向指定用户群发邮件,邮件内容含最占显存的程序及路径等详细信息,同时实时记录日志信息,无需人工持续关注,高效便捷。
3.方案由 Python 和 Bash 编写的脚本组成,通过 nvidia - smi 等命令获取 GPU 显存、进程等信息,结合条件判断、邮件发送 Python 脚本,实现监控与通知功能 。
点击空白处退出提示
评论