2021-11-01 -2025-05-03奇安信集团股份有限公司大数据开发

星海大数据平台项目 2016年8月至2021年10月期间，在奇安信集团股份有限公司担任大数据开发工程师，主要负责星海大数据存储与计算平台相关组件的开发与运维工作。该平台面向海量数据的存储、计算、查询与分析场景，支持自动化集群搭建、弹性扩容、统一配置管理、全面监控及完整的安全防护体系，集成 Raptor、Elasticsearch、Kafka、ZooKeeper、HDFS、YARN、Hive、Spark、Flink、HBase、KNOX、NebulaGraph、DolphinScheduler 等组件，主要用于公司内部业务及客户现场部署，技术栈涵盖 Java、Python、C++、Shell、SpringBoot、Jetty、Ambari、SQL 等。 在 HBase 模块，负责为 Matrix 分析平台、XLab 实验室、锡安平台等内部业务产线提供数据存储与检索支持，所维护的两套 HBase 集群均为 PB 级数据量、Master 高可用架构，RegionServer 节点规模分别达 360 个和 270 个。具体工作包括处理 RIT（region 处于 opening、splitti

2016-07-01 -2021-10-01北京赛思信安技术股份有限公司大数据开发

国家数据中心大数据平台与网络边防攻击态势项目总结 本人长期负责国家数据中心大数据平台的存储与接收链路建设，以及网络边防攻击态势感知项目的数据处理工作，覆盖从数据接入、清洗存储到检索分析的全链路。 在数据存储部分，主要负责基于 Hive 的存储层开发、测试、与厂家联调直至上线，并承担集群日常维护工作。技术实现上，对 Flume 的 Kafka Source 进行二次开发，使其能够获取 Hive 元数据信息以支撑后续数据落地；通过 Hive 建表语句设计分区字段及分区计算规则，部分场景实现二级分区以提升查询效率；利用 Schema 对 Kafka 数据进行反序列化，统一规范数据类型与字段结构；并通过灵活配置 Sink 类型，实现同一数据源按需写入 Hive、HBase、ElasticSearch 或 MySQL 等不同存储引擎，满足平台多样化的数据消费需求。 在数据接收部分，主要负责 HTTP 协议接入层的开发、测试及上线运维。核心工作是基于 Flume 自定义开发 HTTP Source，解析 HTTP 请求头信息（包括目标 topic 及用户对该 topic 的读写权限判断），实现接入

2012-09-01 - 2016-06-01河北科技大学计算机科学与技术本科