该项目实现了业务数据中工单总数、派单、接单状态等指标的实时监控与灵活查询,基于Spark Streaming完成了各种实时指标的分析,部分指标通过预研的Flink进行重构,分析结果通过可视化界面进行展示。 1.Flume采集埋点产生的用户日志数据,通过Canal监控MySQL中存放的业务数据 2.Kafka作为消息中间件对消息进行数据高峰期的削峰和不同日志文件的解耦操作 3.使用常用Spark算子对数据进行清洗、脱敏、降维、聚合等操作 4.基于Flink,使用布隆过滤器结合Redis实现缓存去重,统计访客数 5.指标分析所得到的分析得到的对准确性要求较高的数据存入MySQL 6.支付超时个数、异常登录等风险预警的分析指标导出到ElasticSearch并结合Kibana完成数据可视化 7.分析过程和结果中产生的明细数据存入HBase,并结合Pheonix使用方便查询 8.HBase内的数据使用百度开源的可视化工具Echarts进行图形化展示 9.通过二次聚合的方式解决计算过程中的数据倾斜问题
1890云计算
该项目是***数据中台组集合了SaaS中台数据,以及emr实操系统基础数据搭建的离线数仓平台。为公司各个业务部门整合一份完整的,高一致性的干净的数据源提供方。为公司管理层,以及相关的产品部门提供有价值的报表以及决策所需相关数据。 1、构建数仓基本模型分层(ODS、DWD、DWS、ADS)处理,使用Python进行脚本书写 2、ODS层主要存放经由Sqoop导入Saas中台部MySQL业务数据以及实操系统业务数据 3、DWD层完成了数据的清洗、脱敏、降维等操作 4、按照雪花模型进行维度建模,设计每一层的表,并针对不同类型的表(实体表、维度表、事实表)设计同步策略 5、通过自定以UDF、UDTF函数完成日志字段的解析 6、基于Hive SQL结合报表业务数据制作流量分配看板,以营期、课程、社群为主题增加报表页面 7、基于Metabase来查询数仓基础数据为财务提供订单明细、分摊收入、预收账款等明细数据 8、后期业务数据冗余进行维度重新整合,模型重新提取后进行口径统一形成迭代之后的宽表 9、整个过程通过使用Azkaban结合每阶段的Python脚本完成任务调度
1570云计算
基于Oceanus流计算平台搭建实时数据仓库系统,使用Flink CDC 进行业务数据拉取并下层到Kafka,基于Kafka数据进行分层搭建实时数据仓库,对Kafka的数据进行指标运算输出到ClickHouse。该项目旨在为业务实时的全链路转化分析,帮助业务、高层及时决策,以及挖掘出高潜用户帮助社群精准定位人群能及时跟单,提高社群转化率。 1.通过flink实时流计算架构以直播以及订单为核心的实时项目 2.通过对每天晚上直播过程中数据监控等多维度分析标记高意向用户 3.通过对订单数据进行课程进行分流处理,处理过程补充相关维度表形成实时订单数据 4.通过后台埋点数据进行直播过程中的监控对直播过程中的卡顿率、敏感词、清晰度切换进行实时监控 5.对业务系统某些需要实时处理的表进行Sink至ClickHouse 6.后期项目的持续维护和更新优化
1070可视化
一键广告投放平台,广告主上传自己的广告物料,系统后台自动转码,转成匹配的格式和画幅,自动把广告下发到终端设备,接受到广告后自动排播,自动播放,播放完毕,监播数据会自动上传到广告平台进行分析计算,最后自动生成结案报告
2110企业服务
开课吧任高级工程师。主要开发C端学员业务、C端直播业务。具有有高并发业务开发处理经验 https://www.kaikeba.com/ 没那么多字写,自己看图看链接吧123456789101112131415
1190
基于STM32无线充电器发送器和接收器的设计与实现;根据谐振公式实现谐振电路,由微控制器实现谐振频率和控制电路,实现对电路过压和过流保护。通过接收电路实现电源能量的转化和接收。
2020
1.项目分为翻页,解析,保留等模块 2.我们要爬取新书的图片链接,详情链接,名称, 并将其保存到txt文本中,将图片保存到一个新建的文件夹中 3.难点是翻页的实现,参数的分析,和正则解析的使用
1330
证件照换底工具 1.需求者可以根据需要上传证件照. 2,可以根据自己的需要选择需要换底的颜色,五颜六色均可以选择 3.可以自行调整换底清晰度 4.可以自由下载到需要保存的位置
1670
、收集数据 python爬虫程序可用于收集数据。这也是最直接和最常用的方法。由于爬虫程序是一个程序,程序运行得非常快,不会因为重复的事情而感到疲倦,因此使用爬虫程序获取大量数据变得非常简单和快速。 由于99%以上的网站是基于模板开发的,使用模板可以快速生成大量布局相同、内容不同的页面。因此,只要为一个页面开发了爬虫程序,爬虫程序也可以对基于同一模板生成的不同页面进行爬取内容。 2、调研 比如要调研一家电商公司,想知道他们的商品销售情况。这家公司声称每月销售额达数亿元。如果你使用爬虫来抓取公司网站上所有产品的销售情况,那么你就可以计算出公司的实际总销售额。此外,如果你抓取所有的评论并对其进行分析,你还可以发现网站是否出现了刷单的情况。数据是不会说谎的,特别是海量的数据,人工造假总是会与自然产生的不同。过去,用大量的数据来收集数据是非常困难的,但是现在在爬虫的帮助下,许多欺骗行为会赤裸裸地暴露在阳光下。
950
为婚礼制作了炫酷的demo。新人可挑选自己漂亮的婚礼照片,生活照等进行上传播放。 demo可以360度旋转,展现新人的美和幸福感。亦可以为婚礼增加一份不一样的幸福感。 demo还可以存放生活照片,存放于电脑或播放于电视上,多年后打开不用一张一张切换查看照片,可以自由设置旋转速度。也可以鼠标悬浮某张相册,会自动放大查看
1430可视化
1.实现多米诺喷码机A200(包括A200+)系列通讯协议。 2.通过网口进行通讯,设定IP和端口后,进行socket连接,进行发送数据,类中已经对数据进行了重新组装,客户端只需要传入具体的值即可,比如发送【123456】六位数字,喷码机打印完成后返回打印完成信号,程序接收到此信号后,自动下发下一个数据。
5291
随身空气净化器控制电路板的设计与制作;实现锂电池的充电,实现电源的电压变换,给风道电机的驱动电路供电,采用艾特梅尔实现触控开关。采用液晶屏显示锂电池的电量和净化器的工作状态。
2420
运营分析系统 后台功能配置需要前端展示的数据分析功能。有统一模板。只要会一点点sql语句。就可以进行配置。 前端根据后台配置的功能树形节点展示,并可以展示所需要的“列表图”、“树状图”、“线状图”、“饼状图” 不局限于某个体制,也不局限于某个单位。 只要你需要数据分析,你又数据库,拿过去配置起就可以使用。 避免了数据分析开发的局限性和多功能性。 一套系统配置完美的糅合进了多数据分析的功能,
2030
微信公众平台上制作的微信支付和在线选卡系统,根据客户自己的定制或者系统随机生成不同的卡号,给与对应卡号卡片的不同价格。对接支付。卡片样式制作修改。和后台订单出货核销系统
1180
唐小僧理财是一家面向个人的理财平台。平台主要为个人用户提供活期以及定期多期限的理财产品,用户可以根据自身的情况,在线购买适合自己的理财标的,获得相应的理财收益。 负责理财日历及重构
2420金融
华住集团是全球领先的酒店集团,在17个国家经营7988家酒店,拥有1.9亿华住会会员。旗下经营包括汉庭、全季、桔子、禧玥、花间堂、施柏阁、城家等31个酒店及公寓品牌。 负责核心预定流程
8000
虎扑是以体育赛事和男性兴趣生活为主的社区网站。专注于NBA赛程、NBA录像、NBA直播、NBA资讯、球员交易、足球、英超、电竞、LPL等全部篮球足球电竞赛事,并提供虎扑步行街社区服务。 负责社区业务线及基础架构
2000
1、项目分为前端angular、后端.netcore,使用者为某市政府房地产管理局的办公软件,实现了买房者在房管局的业务办理系统。 2、我负责数据的采集,信息的加密,鉴权、token,部分开发文档的编写,前端部分图表的实现,缓存的处理,查询的优化等。
1500金融
1.整体框架使用vue+vant编写。 2.使用webrtc实现h5端音视频通话。 3.使用前后端分离开发。 4.整个前端都是自己独立开发,并完成各个功能模块。
1340
项目描述:作为工厂员工,员工需要将工厂使用设备录入系统,只有被录入系统的设备才可在工厂被使用。 对于工厂管理员来说,员工需要管理该工厂所属的设备情况,总共多少设备,哪些在工作,哪些在空闲,了解不同设备每日工作情况。主要模块有设备管理、地图中心 负责模块:Agv管理、pad管理、工位管理 责任描述:参与前期需求分析,需求评审,数据库模型设计、Agv机器人、pad、工位和iot交互设计数据同步方案,机器人任务调度开发,pad呼叫空闲机器人进行调度作业等
2180
当前共161935个项目
×
寻找源码
源码描述
联系方式
提交