高负载分布式文件系统

我要开发同款
just2022年11月19日
677阅读

作品详情

软件架构:Beego +MySQL + Redis + Kafka + FastDFS 项目介绍:该项目主要用于保存设备上报的富文本信息,在处理乱序数据的同时需要保证项目的高可用,在大流量的前提下要确保事务的低延迟,主要有以下功能:1. 可以通过文件系统后台管理模块查看、查看设备上传文件。2. 通过远程指令控制设备拍照。 主要职责:1. 架构上由三部分组成:设备消息消费端、业务逻辑处理端、异步文件写入端。2. 负责设备富文本报文数据的解码、写入。3. 负责文件系统后台模块对接 提供下载、查看功能。 技术要点:1. 用 FastDFS 作为分布式解决方案,管理文件,并处理文件的存储,下载和查看。2. 使用池化技术、异步队列、批量读写等技术处理大流量,提高并发处理能力。3. 使用 Redis 缓存实现设备断点续传、乱序写入。4. 使用 Kafka 作为高可用解决方案、确保消费消息不丢失
查看全文
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论