中文母语水平
0
1
2
3
4
5
7小时前在线
数据库开发工程师
北京全职 · 300/日 · 6525/月信用正常
工作时间: 工作日09:00-22:00、周末09:00-20:00工作地点:
远程
服务企业:
0家累计提交:
0工时
聊一聊
个人介绍
我是程序员客栈的太子,一名大数据开发工程师
我毕业于 河南科技学院 信息与计算科学专业 ,统招本科
从大学接触大数据开始到毕业之后的这五年里一直从事大数据相关的工作,
从联通的财务部数据开发,到百度旗下的小度产品的数据开发服务平台,到微软的必应搜索app的数据服务平台,最后到小红书的社区数据服务平台,这四个数据的工作都是以离线数仓为主,有小部分的实时.
在百度的工作中我作为数据开发对接三个部门的pm,还维持这三个部门的报表,经历过一次平台从 hive 迁移到 spark的工作.
在微软的项目里面,有接近半年的时间,是作为copilot in bing 项目的主要数据负责人,不仅提供数据,解决日常的需求,还做过数据变化的分析和flight实验的分析.
在小红书的社区数据开发的项目里面,负责创作者相关的数据
工作经历
2024-03-07 -2025-08-14上海微创软件股份有限公司大数据开发工程师
外包到微软,负责bing app 的数据工作,负责过copilot in bing 的数据,做过数据变化的分析和flight 实验的分析 1. 使用接口抽取日志文件进行数据清洗后入库 2. 编写UDF 函数进行数据的处理 3. 设计在数据库各层表的结构 4. 部署adf上的自动化流程，并设置监控报警以便于观察和维护 5. 设计和创建各个平台上报表，并维护其准确性 6. 对于数据的变化进行分析，挖掘潜在的问题 7. 对flight 实验的价值进行分析，预测其部署之后的价值 8. 通过异常的数据判断莫些用户的共性 9. 对用户进行详细的用户画像 10. 给pm提供数据以便于其对方向和用户的把控 11. 在Agent 的RAG方向进行学习和部署 12. 以Agent 的整个问答流程和产生的结果为基础对Agent 进行优化 13. 部署chat BI ，调用Agent进行报表的展示
2022-08-24 -2024-02-14软通动力信息有限公司数据库开发
外包到百度旗下的小度产品,数据开发 1. 对表中的数据进行整合以达到清晰可见 2. 创建定时任务抽取mysql库的数据映射成表 3. 使用接口抽取日志文件进行数据清洗后入库 4. 维护报表定时任务的稳定性，创建新的报表定时任务 5. 维护报表的准确性，创建新的报表和修改原有报表 6. 独立完成pm提出的需求分析 7. 进行数据清洗,转换,加载 8. 使用python对下游传来的excel文件进行数据统计 9. 对整合的数据进行挖掘,发现数据的价值 10. 进行文档的编写 经历过一次hive迁移spark 的工作
2021-04-28 -2022-08-10思科瑞科技有限公司数据库开发工程师
外包到联通,处理联通财务部的数据 1. 协助进行数据仓库的搭建 2. 使用 Sqoop 进行数据的导入 3. Oracle数据库和Hadoop之间的数据交互 4. 独立进行需求分析 5. 进行数据清洗,转换,加载 6. 对整合的数据进行挖掘,发现数据的价值 7. 进行文档的编写
教育经历
2017-09-01 - 2021-07-01河南科技学院信息与计算科学本科
