为了能更好的管理和开发生产上的spark任务，我们开发了实时分析决策平台，该平台分为一期和二期来完成。平台登录接入统一身份认证。一期开发包括web控制台和后台agent两部分。web控制台包含两个模块:agent管理和任务管理agent管理:通过页面可以监控agent的运行状态和修改agent是否启用停用以及agent的扫描间隔。任务管理:可以在页面上管理任务和对任务状态的实时监控,手动把任务运行代码放到和agent部署的同一服务器,通过页面上的添加任务将任务执行路径配置好,就可以在页面上通过启动/停止将任务提交到集群上。agent:agent主要用来执行任务和监控任务并且把任务的状态实时更新到数据库展示到前台页面上。页面上通过启动任务会往数据库写一条启动命令,agent实时扫描数据库表,发现有新的命令后去解析并执行。二期开发:优化后台agent服务,控制台添加对任务和agent的监控告警以及短信通知功能。