ccy00808
2天前在线
全职 · 500/日  ·  10875/月
工作时间: 工作日19:30-12:00、周末09:00-18:00工作地点: 远程
服务企业: 0家累计提交: 0工时
聊一聊

APP聊一聊

个人介绍

熟练掌握开源存储技能:

alluxio-2.x alluxio-3.x缓存存储系统seaweedfs 分布式文件系统juicefs 存储系统

熟悉:

minio 对象存储系统K8s Operator csi开发及常用控制器研发和运维

深度参与AI高速存储IO链路优化。熟练掌握c++,golang,java,python


自学能力强,善于发现。渴望技术和知识。经常阅读先进技术论文,总结成自身知识体系善于实践,解决问题能力强有较强的责任心和干劲,也有关键时刻的冲劲


工作经历

  • 2023-09-20 -2026-04-24北京开源维度高级研发工程师

    整个分布式文件系统相关功能的研发 1.深度优化AI高速存储IO链路:    a. 研发prefech功能,并发预读,提升顺序读性能    b. 研发客户端缓存能力,提前将文件缓存到本地提升read性能    c. 研发readdir plus,list目录性能提升10倍+    d. 在接口收敛模式下,完成数据一致性刷新    e. 完成目录元数据管理功能 2.研发alluxio 3.x调度平台    a. 研发任务调度系统,调度预加载,释放缓存,数据搬迁等任务    b. 研发数据缓存预先加载功能,将冷数据变为热数据,满足AI高速存储的需求    c. 研发缓存清理功能,将过期热数据清理。释放磁盘空间    d. 研发数据搬迁功能 3.深度参与用户poc,帮公司成功拿下切不仅限于以下订单:    a. 吉利汽车DA使用场景   b. 小红书大数据场景   c. 联通异地数据搬迁

  • 2020-10-09 -2023-07-03蚂蚁集团高级软件开发工程师

    1. 分布式文件加速系统的开发 目前,该产品主要服务于ai大模型训练,解决ai训练场景中io链路瓶颈问题。该项目从开源产品alluxio演进而来,进行不断优化,从而打造当前大模型训练加速主流产品之一。  该项目从立项以来,经过不断优化,在稳定性,性能,规模,降本增效上都有了质的提升。是目前支持百亿模型训练的唯一加速产品。在解决io链路加速问题上得到了用户的良好反馈。主要功能开发包括: follower read功能:针对用户数据敏感程度,对敏感低的数据开发follower read功能,从而在只读场景上的吞吐提升3倍以上,同时,对临时状态数据请求转发leader二次确认,保障请求的准确性。 worker register follower功能:更改注册框架,所有worker 像所有master注册并保持心跳,时时同步block原数据,FO切换leader后,可以迅速对外提供服务,提高集群的可用性,同时,对于master节点的腾挪,可以自动同步worker进行发现注册。 开发联邦模式,proxy通过hash分散文件,组成集群组对外提供统一服务,从而打破单机群瓶颈,从而可以支撑百亿

  • 2018-07-10 -2020-10-09华为研发工程师

    1. 分布式存储系统研发和运维 1.分布式文件系统架构研发,主要包括: 滚动升级:通过完成集群状态监控,在check master状态后逐次升级master,在完成replication check后,完成worker节点的逐次升级,从而达到集群不间断服务完成版本升级。 内存监控:通过获取进程内存,时时监控集群状态,进行告警和自我修复 参与底层链路协程通信改造,将集群服务能力提升3倍+ 分布式系统运维,保障集群的稳定性。 作为对分布式存储系统的入门项目,不仅学习到高复杂度的编程技术,同时,也对分布式存储架构上有了整套的认知,从而喜欢上这个方向。 在华为工作三年的时间,获得多次奖项,多次加薪和升级,两周内通过公司编程认证考试,得到老板们的认可和肯定

教育经历

  • 2014-09-01 - 2017-06-30厦门大学自动化硕士已认证

语言

中文母语水平
0
1
2
3
4
5

技能

Go熟练
C++熟练
Python熟练
Java精通
0
1
2
3
4
5
0
1
2
3
4
5
更新于: 5天前 浏览: 9