利⽤机器学习⾃动检测Hadoop中执⾏慢的节点、并且⾃动分析其根本原因。实验是基于6个异构的
Hadoop节点多轮分别运⾏不同类型，不同负载的任务。采集执⾏过程中的各种核⼼性能数据，CPU占⽤率、内存占⽤率、Job执⾏进度、硬盘负载、⽹络I/ O，利⽤机器学习检测数据的离散性，⾃动检测异常。对异常节点再次进⾏分析，对异常原因进⾏分类，然后训练⼀个基于
随机森林的模型。对实验组进⾏实验，最终实验 的结果精准率98%、准确率97%、误报率6%
点击空白处退出提示
⼤数据集群的异常检测和分析
我要开发同款技术信息
功能介绍
示例图片
声明：本文仅代表作者观点，不代表本站立场。如果侵犯到您的合法权益，请联系我们删除侵权资源！如果遇到资源链接失效，请您通过评论或工单的方式通知管理员。未经允许，不得转载，本站所有资源文章禁止商业使用运营!
评论