大数据开发平台工程师
广州
中文母语水平
英语无工具书面交流
0
1
2
3
4
5
15小时前在线
个人介绍
我是豆腐发，21年本科毕业于湖南工业大学计算机专业，有五年后端开发经验，目前在寻找【LLM Agent、数据平台、后端开发】相关的新机会。
我有两段工作经历：
前3年在陌陌，做大数据开发治理平台，覆盖：即席查询、数据血缘、数据质量监控等方向，我在此期间积累了比较扎实的数据工程和后端基础。
近两年在美团数据平台-开发套件团队，方向比较细，做数据元信息管理平台，覆盖指标、维度、模型、数据集等相关数据资产的管理，目前团队一个比较核心的方向是打造数据工程场景 LLM Agent，叫made（美团ai数据引擎）集成了数据平台现有所有能力，目标是能通过自然语言对话实现从数据需求分析到生产上线的全生命周期数据工作流程。我参与了made涉及（起源）元数据管理平台中指标相关tool能力建设，也自行研究了框架整体设计，掌握了agent中分级压缩、生命周期hook、记忆管理等核心机制原理。
在当前的made项目经历中，我觉得llm agent不只是一个新系统，也是未来系统的一个发展方向。
同时站在后端开发的视角来看，目前的后端接口，还是站在人的视角，返回的字段要让前端好渲染和展示，参数设计要符合人的交互习惯，报错要让人看得懂，但如果调用方变成了ai，接口的设计思路就要站在ai的视角，ai不需要冗余的人类可读展示信息，不需要ui信息，需要的是清晰、准确、消耗token少的信息，所以好的 llm agent 不仅依赖 agent 本身的代码逻辑，还依赖底层系统对外暴露适合ai调用的接口，这也是未来后端工程师需要做的事情。
工作经历
2024-08-12 -2026-07-10北京三快网络科技有限公司数据平台后端开发
美团AI数据引擎（MADE） 项目技术：Python、FastAPI、SSE（流式响应）、LangFuse（LLM可观测性平台）、Tools（数据 平台相关能力）、Gunicorn/Uvicorn、pytest 项目描述：美团自研的企业级 LLM Agent 框架（参考Claude Code），针对数据工程场景打造， 覆盖从需求分析到生产上线的全生命周期数据工作流。支持Tool调用、Sub Agent、分级压缩、 Steer软中断、生命周期Hook、LangFuse全链路检测、记忆管理、错误恢复等能力。 项目职责：参与MADE涉及起源（数据元信息管理平台）部分tool能力建设，深入研究框架整体设 计，掌握分级压缩、生命周期hook、记忆管理等核心机制原理。 项目成果： 起源指标管理tools开发：实现指标检索、详情、创建、认证核心流程tool开发，工具描述遵循 规范，工具参数schema标准清晰，按影响标注风险等级，支持懒加载，定义合适的工具关键字 支持LLM检索。 分级压缩：L1-SnipCompact裁掉无关的旧对话。L2-MicroCompact旧的超大tool result替换
2021-06-18 -2024-08-10北京陌陌信息技术有限公司大数据开发平台工程师
大数据开发治理平台（简称Meta） 项目技术：Zookeeper、Kafka、Flink、Redis、ThriftRPC、DataX、HBase、Oozie、Presto、 Hive 项目描述：陌陌公司自研的大数据开发平台，提供了数据集成、ETL开发(离线|实时)、数据血缘、 Adhoc、成本管理等功能。降低用户的数据开发和使用成本，解决数据使用过程中各种问题。经 过多年的完善，日调度离线作业10000+，运维实时作业2000+，在稳定性和易用性得到了陌陌数 据开发用户的高度认可。 项目职责：调研大数据领域相关技术，封装底层实现，提供友好的页面交互，方便的使用、校 验、管理等功能 项目成果： 即席查询：支持Trino引擎，将较重处理逻辑提交至RQ分布式异步执行，实现了多用户公平队 列调度逻辑，查询结果保存到NFS中，保证了多实例稳定性。 数据质量：支持不同周期监控Hive表条数、枚举值、重复值、汇总值、空值等，推送质量监控 结果，可配置熔断，防止脏数据污染扩散。 数据血缘：离线ETL支持解析表级别依赖关系，解析结果保存至Neo4j数据库中，用于洞察数据 表依赖关系，值班中心可用于级联重
教育经历
2017-09-01 - 2021-09-01湖南工业大学计算机科学与技术本科
