BOMC采集模块产品系统

我要开发同款
黑客松2026年08月26日
2阅读

技术信息

语言技术
Java
系统类型
Web
行业分类
企业服务

作品详情

行业场景

BOMC采集模块是中国移动业务支撑网运维管控体系的数据采集底座与数据源头入口,承担全网所有运维数据、资源指标、业务日志、告警事件的统一采集、清洗、规整、上报工作。作为BOMC系统最底层核心基座,为资源台账、监控告警、故障分析、报表统计、运维考核、智能调度提供完整、精准、实时的原始数据支撑,解决传统运营商运维数据分散、采集口径不统一、数据缺失、延迟严重、无法集中管控的行业痛点,支撑集团、省公司两级数字化运维体系落地。
一、全网异构资源统一采集场景
针对中国移动多机房、多厂商、多类型软硬件资源异构繁杂的现状,实现全品类运维资源数据的统一采集。覆盖服务器、虚拟机、存储设备、数据库、中间件(Redis、Kafka、Zookeeper)、业务微服务、网络设备等各类节点,统一采集CPU、内存、磁盘、负载、端口、连接数、并发、吞吐量、响应时延等运行指标。屏蔽不同设备、不同系统、不同版本的采集协议差异,实现异构资源数据归一化、标准化入库,解决以往采集工具零散、数据不互通、管控割裂的问题,构建全网统一的运维数据底座。
二、多协议适配实时数据采集场景
适配运营商复杂的网络与部署环境,支持主流多协议采集方式,包括HTTP、Dubbo、SNMP、JDBC、SSH、日志采集、被动上报等多种模式。针对业务服务指标、数据库运行状态、系统日志、硬件性能数据、第三方运维数据实现全方位适配采集,兼顾主动轮询采集与被动消息上报两种场景,适配不同业务、不同设备的接入规范,保障全网所有运维节点可接入、可采集、可监控。
三、海量数据清洗、规整、去重场景
面向全网秒级海量指标上报、日志流水、事件数据,搭建采集数据预处理体系。针对原始数据杂乱、字段缺失、格式不统一、重复数据、脏数据较多的行业问题,实现数据过滤、字段映射、格式转换、重复去重、异常数据剔除、空值修复等预处理逻辑。统一全网数据字段规范、单位规范、状态码规范,保证入库数据干净、标准、可用,为上层监控展示、统计分析、故障研判提供高质量数据支撑。
四、断点续采与数据补全容错场景
针对运营商机房割接、网络抖动、节点重启、服务短暂离线等不稳定场景,实现采集任务容错与数据补全机制。支持采集中断自动重试、网络恢复后断点续采、缺失数据自动补采、异常任务兜底重试,有效解决网络波动、节点离线导致的数据断层、丢数、断档问题。保障运维数据连续性、完整性,避免因短暂网络波动造成监控失真、统计不准、告警误判,满足运营商高标准运维数据可靠性要求。
五、定时轮采+实时流式双模式采集场景
适配运营商运维数据差异化需求,构建双采集模式体系。对资源静态信息、配置数据、台账数据采用定时轮询采集,保证资源信息同步更新;对CPU负载、接口时延、交易流量、异常日志等动态核心指标,采用实时流式采集,实现秒级数据推送。兼顾静态资源台账准确性与动态业务监控实时性,适配日常运维、业务峰值、重大重保等不同场景的数据需求。
六、采集任务管控与权限合规场景
适配移动集团运维安全与合规要求,实现采集任务的全生命周期管控。支持采集任务新增、启用、暂停、关停、定时配置、采集频率自定义,可按机房、业务线、责任人精细化管控;全程留存采集操作日志、任务变更记录、数据接入台账,做到数据接入可追溯、任务变更可审计、权限操作可管控,符合运营商信息安全、运维合规、等级保护相关规范。
七、上层模块数据联动支撑场景
作为BOMC全系模块的数据源头,为资源模块、监控模块、告警模块、报表模块、工单模块提供标准化数据源。采集后的规整数据向上层推送,支撑资源台账更新、实时监控展示、智能告警生成、运维KPI统计、故障溯源分析等核心业务,是整个BOMC运维闭环体系的数据基石,保障全网运维可视化、自动化、智能化运转。

功能介绍

作为BOMC系统数据底层核心基座,独立负责采集模块全功能开发与迭代优化,面向中国移动全网业务支撑环境,搭建统一、高可用、容错性强的运维数据采集体系,为资源管控、监控告警、故障分析、运维报表提供全量标准化数据源,核心功能实现如下:​
1. 全网异构资源统一采集功能:支持服务器、虚拟机、数据库、Redis、Kafka、网络设备、业务微服务等全品类资源接入,统一采集硬件性能、中间件状态、业务接口、系统负载等核心指标,屏蔽多厂商、多版本设备协议差异,实现异构数据归一化入库,构建全网统一运维数据底座。​
2. 多协议兼容采集功能:适配运营商复杂网络环境,兼容HTTP、Dubbo、SNMP、JDBC、SSH、日志采集、被动上报等多种采集模式,支持主动轮询与被动推送双场景数据获取,满足不同业务、不同设备的接入规范,实现全网运维节点全覆盖采集接入。​
4. 断点续采与容错补全功能:针对机房割接、网络抖动、节点离线等异常场景,实现采集任务自动重试、断点续采、缺失数据自动补全能力,解决数据断档、丢数、延迟问题,保障运维数据全程连续完整,避免监控失真、告警误判问题。​
5. 动静双模式采集调度功能:设计定时轮采+实时流式采集双模式架构,静态资源台账数据采用定时轮询同步,保障信息准确;动态业务指标采用秒级流式采集,保障监控实时性,适配日常运维、业务峰值、重大重保等各类场景的数据采集需求。​
6. 采集任务全生命周期管控功能:支持采集任务新增、启停、频率自定义、策略配置,可按机房、业务线、责任人精细化权限管控;全程留存任务变更、数据接入、操作行为日志,实现全流程可追溯、可审计,满足运营商运维合规与等保规范。

项目实现

作为BOMC系统数据底层核心基座,独立负责采集模块全功能开发与迭代优化,面向中国移动全网业务支撑环境,搭建统一、高可用、容错性强的运维数据采集体系,为资源管控、监控告警、故障分析、运维报表提供全量标准化数据源,核心功能实现如下:​
1. 全网异构资源统一采集功能:支持服务器、虚拟机、数据库、Redis、Kafka、网络设备、业务微服务等全品类资源接入,统一采集硬件性能、中间件状态、业务接口、系统负载等核心指标,屏蔽多厂商、多版本设备协议差异,实现异构数据归一化入库,构建全网统一运维数据底座。​
2. 多协议兼容采集功能:适配运营商复杂网络环境,兼容HTTP、Dubbo、SNMP、JDBC、SSH、日志采集、被动上报等多种采集模式,支持主动轮询与被动推送双场景数据获取,满足不同业务、不同设备的接入规范,实现全网运维节点全覆盖采集接入。​
4. 断点续采与容错补全功能:针对机房割接、网络抖动、节点离线等异常场景,实现采集任务自动重试、断点续采、缺失数据自动补全能力,解决数据断档、丢数、延迟问题,保障运维数据全程连续完整,避免监控失真、告警误判问题。​
5. 动静双模式采集调度功能:设计定时轮采+实时流式采集双模式架构,静态资源台账数据采用定时轮询同步,保障信息准确;动态业务指标采用秒级流式采集,保障监控实时性,适配日常运维、业务峰值、重大重保等各类场景的数据采集需求。​
6. 采集任务全生命周期管控功能:支持采集任务新增、启停、频率自定义、策略配置,可按机房、业务线、责任人精细化权限管控;全程留存任务变更、数据接入、操作行为日志,实现全流程可追溯、可审计,满足运营商运维合规与等保规范。

示例图片

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论