云短链平台

我要开发同款
Jacek2024年04月17日
24阅读
开发技术docker、elasticsearch、kafka、rocketmq、java
所属分类海量数据、SpringCloud

作品详情

短链平台是一个营销推广平台,满足公司电商产品推广、业务活动页、广告落地页和短信营销等需求, 支持实时数据统计分析。 【反垄断后】微信、抖音、淘宝 流量互通,很多知识付费公司需要做 私域流量、社群运营,可以对外做产品输出,实现商业化能力增加公司营收,包括多个服务,账号服务,商品服务,短链服务,支付服务,实时计算服务,数据可视化服务。 技术栈:AlibabaCloud全家桶+Redis+RabbiMQ+Sharding JDBC+Flink+Kafka+ClickHouse+XXL-JobDevOps部署链路:阿里云ECS + Gitlab+Docker+Jenkins CICD+Rancher2.x项目一:账号服务+商品服务项目描述:账号服务+商品服务是B端业务核心内容,商家信息模块、免费+付费流量包管理、下单多渠道支付,支持一体化监控-自动化扩容等等功能。负责用户微服务模块开发、流量包模块等开发,支持多渠道验证码发送,具有防刷防恶意注册,越权设计等;封装OSS文件上传组件;多通道支付设计+微信支付V3接口开发和异步发放流量包,对接新用户拉新福利模块,采用MQ消息解耦,保证数据最终一致性和可靠性投递模块开发。海量请求处理-付费免费流量包模块设计和开发。项目亮点:1)海量数据下流量包的发放和更新(采用Redis惰性删除思想),高并发下流量包扣减设计,2) 多通道支付对接设计和海量数据下订单、流量包等分库分表设计3) 封装了多个组件如自定义注解防重提交、线程池+http连接池 提高多个核心接口QPS项目二: Flink实时计算服务+数据可视化服务项目描述:方便短链创建者多维度实时分析数据,实时计算服务是采用Flink技术,处理用户访问短链产生的各项指标数据包括设备类型、时间、地理位置信息等多维度信息,基于实时数仓分层处理和维度建模,存储到ClickHouse里面,数据可视化这块采用Echart框架进行展示,支持多种丰富的维度分析图表。负责实时计算服务架构搭建,对接短链服务数据埋点,基于数仓分层模型设计Flink处理链路,多个组件工具封装、访问数据ETL处理、宽表开发、Async异步IO处理对接高德Ip解析API,ADS层数据存储ClickHouse,对接数据可视化服务多维度分析图表sql开发项目亮点:1)实时计算服务架构搭建和数据流转分析2)Flink数据分层处理和宽表开发3)Async异步IO优化外部数据关联查询项目三:短链服务项目描述:短链服务是核心模块,用户传入原始链接生成短链,生成的短链具备无规则且海量数据下性能高低碰撞率,支持短链分组、自定义域名和实时数据分析,对接流量包模块,实现了高性能创建短链和扣减流量包。负责短码服务的分库分表架构设计,短链组和短链开发、基于MurmurHash生成和解析短链。通过冗余双写的技术解决了在分库分表的场景下用户端和商家端多维度查询问题,设计和开发高性能创建短链和扣减流量包架构,并采用MQ+Task解决了短链码和流量包扣减的分布式事务项目亮点:1)通过冗余双写的技术解决在分库分表的场景下用户端和商家查询问题2)设计了短链码在扩容时免数据迁移的分库分表解决方案且避免数据倾斜3)创建短链时高性能扣减流量包,采取预扣减方案且保证了数据一致性;4)采用MQ延迟队列+本地Task解决了短链码和流量包扣减的分布式事务问题
查看全文
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论