个人介绍
我是一名数据采集工程师,拥有多年数据采集、数据清洗、反爬应对、数据入库及数据服务建设经验。曾在网易游戏、汇通旅、Workus 等公司负责多源数据采集链路搭建,覆盖社交媒体、海外平台、供应商平台、企业信息等业务场景。熟悉 Python、FastAPI、Redis、MySQL、PostgreSQL、Kafka、Playwright 等技术,能够独立完成采集策略设计、字段映射、数据去重清洗、质量校验、增量更新和服务化封装。
在工作中,我注重数据的准确性、稳定性和业务可用性,具备从数据源接入、爬虫开发、清洗标准化、存储建模到下游系统调用的完整落地能力。同时,我也具备 AI Agent、MCP Server 和自定义 Skill 相关实践经验,能够将数据能力封装为可复用服务,支持企业搜索、供应商发现、线索补全和用户画像等智能化应用场景。总体而言,我擅长把复杂、分散的数据源转化为稳定、结构化、可持续使用的数据资产。
工作经历
2021-07-02 -2023-07-01网易游戏数据采集
负责数据采集与数据清洗工作,包括从网站、数据库、接口、文档等渠道收集业务数据,整理采集规则,保证数据来源准确可靠。对原始数据进行去重、补全、格式统一、异常值排查和质量校验,建立清洗流程与数据标准,输出结构化数据,为后续分析、建模、报表和业务决策提供高质量数据支持。
教育经历
2017-09-01 - 2021-06-30广东海洋大学电子科学与技术本科







