首页
程序员
产品
招聘用人
云端工作
自由工作、远程工作
项目研发
需求梳理
规划落地您的想法
整包开发
一站式软件开发
云服务
UniSMS
合一短信 聚合API短信平台
UniAPI
全类API业务场景
技术
发布需求
开发者入驻
APP
登录
/
注册
全部
开源项目
源文件源码
产品系统
AI
API
电商
运维
游戏
APP
H5网站
PC网站
微信小程序
更多
ETL工具框架
XXX城市一张图系统
本项目是基于SuperMap GIS基础软件,融合云计算、物联网、大数据GIS等前沿技术,构建了佳木斯城市管理“一张图”平台(以下简称“平台”)。该平台致力于解决佳木斯城市全域各类时空信息资源的高效汇聚、快速交换、安全共享等问题。
83
0
Java
springboot
大数据岗位可视化系统
项目分为三个模块: 1.爬虫模块:利用selenium webdriver来模拟人工访问浏览器实现自动获取网页信息 2. 数据清洗模块:利用Spark来进行数据清洗 3. 可视化模块:用Vue+springBoot框架来进行搭建,运用了Echarts组件来实现可视化图表
65
0
Java
ETL工具框架
数据库流量监测平台
该平台主要能力是进行数据库流量监测, 同时自带丰富的漏洞特征库和风险分析规则库, 对数据库相关流量进行审计记录与风险分析; 具备资产管理模块,审计中心模块,事件中心模块,配置中心模块等。 我是该项目的项目经理, 负责产品需求对接、分析; 研发任务拆分、分配; 代码review; 风险引擎开发、维护; 产品包制作、运维等。
95
0
C/C++
Web框架
山西省煤矿人员联网和山西省煤矿执法网
项目已竣工,山西省各级煤管局、五大集团、煤矿在使用中。该系统是基于矿山生产运营系统、安全管控系统和综合保障系统之上的综合管理指挥系统,其承载了矿山生产中“两个中心”的任务,即“运营管理中心”和“生产调度指挥中心”。以生产任务正常执行为核心,实现人机环视全方位可视化监测,各环节工序有序接替,异常事件和报警的高效科学处置。通过智能化调度指挥最终实现企业生产经营综合统筹、协调均衡、经效精益的目标。
87
0
ETL工具框架
增值税
编写shell脚本,编写数据库存储 进行需求接口分析,完成数据的架构设计工作和ETL开发工作; 负责数据代码开发和shell脚本编写,测试; 负责系统上线,数据迁移,进行相应的测试,保证系统的稳定运行
87
0
ETL工具框架
数据上传程序
API接口数据和线下表格数据实现结构配置化接口上传. 1、实现批量数据上传 2、实现接口与目标数据源的自动化匹配生成API接口 3、实现读取指定行数上传
204
0
python
Python开发工具
数据中台
基于开源框架实现数据中台,包括etl工具,数据服务平台,实现从数据治理到统一数据服务的全流程管理。 本人负责其中的项目架构以及功能开发。
44
0
Java
ETL工具框架
数据协作工具
数据源source 对接 多源,多格式元数据适配 数据通道 数据转化 数据校验 数据sink 对接 sink 对接 数据安全校验,幂等
57
0
Java
Java开发工具
数据库管理系统
数据库管理系统(DBMS)包括以下主要功能: 数据库创建与定义:允许用户创建新数据库、定义数据结构(例如表、视图和索引),并指定数据的完整性约束和安全权限。 数据库查询与处理:提供对数据库中存储的数据进行查询、插入、更新和删除的功能。用户可以使用结构化查询语言(SQL)或者其他查询语言来执行操作。 数据安全性管理:对数据库中的数据进行安全管理,包括权限控制、数据加密、身份验证、访问审计等功能。 数据完整性管理:确保数据库中的数据符合预先定义的规则和约束,例如唯一性约束,外键约束等。 数据备份与恢复:提供数据备份和恢复功能,以保证数据库数据的完整性和可靠性。 数据性能优化:通过查询优化、索引、视图、存储过程等功能,提高数据库的性能和响应速度。 数据库复制与同步:允许数据在不同的数据库之间进行复制和同步,以满足数据共享和多地部署的需求。 数据库扩展与分布式处理:支持数据库的水平和垂直扩展,从而满足大规模数据处理和分布式计算的需求。 数据库监控和管理:提供数据库操作系统,用于监控数据库的运行状态、资源利用率和故障排查等功能。 数据库连接与应用集成:允许应用程序通过应用程序
76
0
C/C++
测试工具
data-importer
1.项目为工具类应用,主要是将文本(csv)数据预先进行清洗(去重、异常数据处理),再将数据插入到数据库中,在插入过程中也包括了一些异常情况的处理,增加工具的容错率。该程序使用了手写的cache组件,性能与内存占用优于原生Map组件并且数据处理速度可达500万/秒以上(基于20亿数据集的测试)。 2.该项目独立负责开发与维护,项目中运用了大文件高效的去重、文件并发处理等技术,核心逻辑无第三方框架,纯手工编写
77
0
数据处理
医院数据中台系统
集成平台系统将不同类型、不同来源的数据通过统一的webservice接口 , 根据服务编码进行不同的业务逻辑处理 , 通过视图 , 存储过程 , MQ的方式实现数据消息的发送和接收 主要应用springmvc,springboot框架,RocketMQ消息中间件,数据库Oracle,MySql以及Redis, MongDB等NoSQL数据库 熟悉Linux平台操作
84
0
Java
Java
数据库开发
主要是针对云南移动经分软件优化及数据中台基础数据支撑优化,根据客户方提出需求,进行需求分析,口径确认等进行模型建设开发,包括报表的开发及优化,新增标签及优化等进一步开发或者优化程序,编写上线文档,其中主要用到国产 gabse 数据库以及 hive 进行开发,tcl 脚本优化
63
0
mysql
数据库管理工具
数仓的血缘解析
1.系统分为SQL血缘解析,后端接口,前端展示 2.我负责SQL血缘解析开发,以及架构设计 3.项目难点:SQL为整个数仓的sql,包含了1000多个表直接的字段关系,解析会变得特别难。
91
0
Java
存储系统
elk数据集市
1.项目用于部门内部数据的处理,提供运营报表、财务报表,从原来一个数据报表需要开发5个工作日,缩短为1到3个工作日。 2.我负责:使用elk生态技术,为各业务线的研发同事提供日志数据,为各业务线的相关同事提供营收数据。 3.elasticsearch在当时是比较新的技术,学习成本高。
117
1
Java
金融/财务/证券系统
数据分析平台
1.基于BI的可视化数据平台,主要是报表sql编写 2.数据迁移,数据抽取,数据清洗,sql编写,数据精细化处理方案 3.mysql, 数据抽取工具
109
0
Java
ETL工具框架
离线数仓系统搭建
:该系统是将业务数据库所有数据集中到hadoo大数据平台,进行分层、建模,通过不同维度的指标,全面分析总体运营情况,并依据市场变化做出正确对策,同时对产品进行改进和优化等。 项目架构:Sqoop + hadoop + Hive +impala+ crontab+kylingence+tableau+fineBI 技术要点: 1.通过shell开发出批量生产能自动适配 mysql、oracle、sqlserve等关系型数据库sqoop采集指令和impala建表语句的功能; 2.对Sqoop采集功能配置文件研究,使采集,解决MySQL和Hive的空值、null,转义字符,及数据类型不一致等问题。 3.使用impala,parquet格式进行压缩和列式存储,提供快速sql查询和开发 4.利用kylingence工具对sql进行建模,能加速页面的响应,让可视化工具更快展示。 5.数据仓库的搭建: (1)ODS原始数据层:将业务库数据增量或全量采集到ODS层,保证业务库和ods表1:1完全一致 (2)DWD明细数据层:对ODS层数据进行数据清洗和脱敏(有需要可创建非脱敏层)。进行维度建模,选择最
113
0
ETL工具框架
数据安全脱敏平台
该平台是一个实现对原始数据库数据进行静态脱敏的产品; 主要包括资产管理模块,策略管理模块,数据脱敏模块,数据同步模块 数据脱敏引擎等。 我是该产品的研发项目经理, 负责产品的需求对接、分析, 研发任务的拆分、分配, 代码review, 产品包制作等。 (因产品数据保密原因,下方截图不含数据)
101
0
Java
后台管理系统(模板)
ABS综合信息服务平台
资产证券化综合信息服务平台定位于提供 ABS 业务相关信息、数据、模型、研究等一揽子解决方案的综合服务平台。是集数据展示与下载、多角度统计分析、专业分析观点展示于一体的综合性服务平台。致力于建成国内最具广度、深度和专业性的 ABS 平台类产品。
56
0
Java
数据查询
共享交换系统
一、项目描述:共享交换项目主要有:服务代理、数据共享、数据交换、传输策略、数据同步、数据同步等模块 ,项目分为5个包,使用jenkins的方式打包,服务代理主要功能是将用户提供的接口转发的放式转成我们的接口对外提供,目前支持2种接口方式,分别为webservice和http接口,还可以实现跨网系代理,这里跨网系代理需要通过配置传输策略来完成,传输策略是通过配置对应的光闸或者网闸的ftp等策略来实现跨网,数据共享是通过查询数据库的方式将数据生成对应的接口展示出去,目前是可以支持get、post、put、delete这4种接口展示,支持配置的数据源分为sbase、hbase、es、PostGrepSql、greenplum、mysql、oracle、达梦这几种这几种数据源生成接口,数据交换是将数据实体、文件、文本数据通过不同的方式交换到不同的数据实体、文件、文本中,比如我可以将PostGrepSql数据库的数据交换到greenplum数据库中,也可以将ftp上的文件存放到数据库中,实现了数据交换,该模块也可以实现跨往系服务代理,也是通过传输策略来的 二、研发环境及所用技术:Eclipse
100
0
数据库连接池
好医生线上问诊平台
1.政企合作的数据开发项目 2.主要针对山东省各医院线上问诊的数据进行统计分析 2.我负责数据的清洗,etl,数仓搭建,数据各项指标分析,可视化报表的制作
51
0
Java
可视化
当前共35个项目
1
2
登录
登录后即可上传、下载作品
搜索
分类
nodejs
物联网
SAAS
门户平台PORTAL
Web应用开发
CMS
数据备份
css
工业软件
ASP
×
寻找源码
源码描述
联系方式
提交
重点城市程序员兼职推荐
北京程序员兼职
上海程序员兼职
深圳程序员兼职
杭州程序员兼职
广州程序员兼职
成都程序员兼职
南京程序员兼职
武汉程序员兼职
西安程序员兼职
重庆程序员兼职
郑州程序员兼职
长沙程序员兼职
苏州程序员兼职
合肥程序员兼职
厦门程序员兼职
济南 程序员兼职
青岛程序员兼职
天津程序员兼职
大连程序员兼职
福州程序员兼职
石家庄程序员兼职
沈阳程序员兼职
太原程序员兼职
无锡程序员兼职
南昌程序员兼职
哈尔滨程序员兼职
南宁程序员兼职
珠海程序员兼职
宁波程序员兼职
昆明程序员兼职
东莞程序员兼职
贵阳程序员兼职
美国程序员兼职
长春程序员兼职
温州程序员兼职
佛山程序员兼职
常州程序员兼职
呼和浩特程序员兼职
兰州程序员兼职
乌鲁木齐程序员兼职
中山程序员兼职
海口程序员兼职
洛阳程序员兼职
更多
重点岗位程序员兼职推荐
技术创始人兼职
Rust兼职
小程序兼职
cocos2d-x兼职
Unity3D兼职
DBA兼职
运维兼职
测试兼职
移动其他兼职
Go兼职
UE设计师兼职
全栈兼职
Java兼职
CTO兼职
Ruby兼职
C++兼职
PHP兼职
C兼职
C#兼职
Python兼职
架构师兼职
Node.js兼职
Android兼职
iOS兼职
前端兼职
UI设计师兼职
原画师兼职
产品经理兼职
项目经理兼职
区块链兼职
人工智能兼职
硬件开发兼职
更多
您好 👋
我们能提供什么帮助?
向我们发送消息
常见问题、使用帮助、人工咨询等
智能搜索
手机访问
使用微信扫一扫