UniMIB是石竹软件新一代企业级元数据自动获取工具。UniMIB的前身是石竹软件于2003年自主研发的元数据采集工具MIB,MIB也是中国最早的元数据采集软件产品。2003年以来,MIB历经上百项目的检验,在实践中汲取养分,茁壮成长,并于2021年重磅推出UniMIB,UniMIB继承了MIB十余年来积累的强大元数据获取接口,支持各种业界主流的建模工具、关系型数据库、大数据平台、ETL工具、OLAP工具、报表工具、日志文件等的元数据自动采集和解析,同时在元数据获取效率、元数据解析准确性等方面均有革命性突破。
配置视图—系统视角
“配置视图—系统视角”以列表方式展现目前系统已配置的数据源、作业、调度信息,支持进行数据源新增、修改、删除,作业新增、修改、删除、执行,采集规则新增、修改、删除等功能,是配置概况查看及进行数据源、作业配置的统一入口。
配置视图—调度视角
“配置视图—系统视角”以列表方式展现目前系统已配置调度信息,支持进行调度的新增、修改、删除等功能,是调度概况查看及进行调度管理的统一入口。
监控视图—当日视图
“监控视图—当日视图”以列表方式展现当日计划调度任务和手动触发作业运行情况,支持进行调度日志查看,作业日志查看、下载等操作,是当日计划调度任务和手动执行情况浏览查询的统一入口。
配置视图—历史视图
“监控视图—历史视图”以列表方式展现指定时间周期内计划调度任务和手动触发作业运行情况,支持进行调度日志查看、作业日志查看、下载等,日志清理等操作,是历史计划调度任务和手动执行情况查询、管理的统一入口。
在数据抽取工具项目中,我负责核心功能模块的开发工作,涵盖配置视图、监控视图等关键模块的设计与实现。
负责内容方面,我主导了配置视图—系统视角(数据源、作业、采集规则的配置管理)、配置视图—调度视角(调度任务的新增、修改、删除管理),以及监控视图—当日视图与历史视图(调度与作业运行日志的查看、下载、清理等)的功能开发,实现了从配置管理到运行监控的完整闭环。
技术栈方面,采用Spring + Spring Boot构建后端服务,结合大数据技术栈实现海量调度日志的高效存储与检索,保障系统在高并发调度场景下的稳定性与性能。
项目亮点方面,系统实现了配置与监控的双视图分离设计,配置视图聚焦资源与规则管理,监控视图专注运行态可视化,职责清晰、操作便捷;支持当日实时监控与历史回溯查询的灵活切换,配合日志的在线查看与批量下载能力,大幅提升了数据抽取任务的运维效率与问题排查速度。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!

下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论