个人介绍
1. 熟练使用影刀 RPA、八爪鱼 RPA 开发多平台自动化数据采集与数据交付任务。 2. 熟练搭建多账号分布式 RPA 高可用集群,具备滑块验证识别与异常自愈对抗经验。 3. 熟练 Python 编程,具备 LangChain 多模态 ETL 工程落地能力,能将图文视频等 非结构化数据转为分析宽表。 4. 具备 FastAPI + Vue3 全栈能力,可快速落地 RPA 监控看板与数据工具。 5. 熟悉 RAG 检索增强生成架构设计,掌握 Milvus 向量数据库与异构文档知识库搭 建方法。 6. 使用 LangChain 搭建 DataVibe Agent 智能体自主推理调度机制,实现大模型多 工具调用与自然语言即席查询,完成数据库智能交互。 7. 建立数据库分层模型 ODS → DWD → DWS → ADS。 8. 熟练使用 MySQL、Hive 及 Postgres 数据库,精通复杂 SQL 编写与千万级数据查 询性能调优。 9. 使用过 Hive 及 Hadoop 生态(HDFS、MapReduce、YARN),实现分布式存储 视频、图片等大型文件。 10. 了解 Linux 操作系统常用命令与基本操作,能够进行简单的系统管理与部署。
工作经历
2025-08-01 -2026-05-01悦数科技数据开发
项目描述: 主导构建覆盖抖音、小红书等 8+平台的 RPA+AI 数据采集与清洗中台,基于 LangChain 实现多模态内容理解,为美的、海尔等客户提供竞品洞察基础设施。 技术栈: Python, FastAPI, LangChain, 八爪鱼 RPA, Pandas, MySQL, Docker, Vue3 + D3.js 主要职责与业绩: RPA 高可用集群:设计多账号轮询、异常重试的分布式采集脚本,实现动态 等待与模拟真人操作,搜集业务所需数据。 多模态 ETL:基于 LangChain+Qwen-Plus 构建图文/视频理解管道,制定清 洗规则与情感标签体系,将非结构化数据转化为 SQL 分析宽表。 数仓分层设计:基于 MySQL 建立 ODS-DWD-DWS-ADS 数据模型,优化千 万级数据索引,优化报表查询效率。 平台与工具链:基于 FastAPI+Vue+D3 构建监控看板,封装声量趋势、词云 聚类等可复用 Python 模块,提升分析交付效率。 交付成果: 美菱冰箱:交付 Q1/Q2 竞品报告,挖掘用户对“保鲜/净味”的未满足诉求, 支撑产品迭代。 海尔阳台卫浴:完
2024-08-05 -2025-05-01广西梧州百姓数据开发
项目背景:基于业务调整需求,爬取公司小红书医药帖的用户评价数据,为销售 人员优化医药产品市场定位、制定差异化营销策略提供数据支撑。 工作职责: 自动化采集:影刀 RPA 模拟人工操作,自动登录小红书搜索“关键词+地域”收 集前 500 篇高热帖; Xpath 精准定位评论区,循环提取用户昵称、评论内容、点赞数、 时间戳 4 类字段。 动态加载:组合“鼠标滚动 + 延时等待”策略,滚动 8 次触发懒加载,平均单 帖抓取评论 300+ 条; 数据清洗与质量治理:Python+pandas 建立 5 级清洗管线:去重→表情符号转 义→繁简转换→脏词过滤→情感标注。 结构化输出:将原始 JSON 转换为 CSV,字段统一 UTF-8 编码,Python 脚本 按日增量上传至
教育经历
2021-09-01 - 2025-06-01桂林理工大学应用物理本科


