datax二次开发开源项目
离线数据采集:支持离线采集MySQL、ORACLE、DB2、SQL Server、瀚高、TiDB、Doris、ClickHouse、PostgreSQL等关系型数据库,http、Kafka、Excel、InfluxDB、Redis、MongoDB、SQL、FTP、Elasticsearch、HBase、Hive等组件的数据到ods层或其他数仓数据源。 实时数据采集:支持Flink实时采集MySQL-binlog、PostgreSQL-WAL、PolarDB- binlog,Oracle,kafka,ActiveMqd等组件的数据。 数据治理:从数据的规范性、一致性、准确性、完整性、唯一性等角度进行数据处理,形成标准统一的数据资产 治理组件如下: 1.规范性校验-对各个字段的值域、长度、最大值、最小值进行限制 2.顺序校验-对字段值进行排序 3.数据量统计-对字段值进行预警统计 4.级联校验-对多个字段值进行联合校验,如省市区三个字段值校验 5.空值替换-对字段空值进行处理 6.日期格式转换-对日期字段进行格式转换 7.身份证标准化-对身份证进行标准化处理 8.电话号码标准化-对电话号码
1310Java服务框架/平台
平台为用户提供点播、时移、回看以及生活服务类、新闻资讯类、电视课堂类、电视阅读类、金融服务类等增值业务,通过全省统一主应用、应用部署系统、配置表等技术手段,实现了全省大部分地市高清互动业务的统一管理、统一运营,同时兼顾各地市个性化运营需求。 主要职责: ● 系统维护与个性化需求设计开发; ● 编写技术方案; ● 负责团队成员的任务分配和成果验收; ● 负责现网重大问题的分析与处理; ● 负责核心功能开发、系统性能优化; ● 负责存量大数据修正。
1610Java PC网站
该项目主要是完成报名吧项目的开发,该系统分为活动发布、活动发布模版管理、活动管理、活动报名、用户认证、礼品采购、礼品订单管理等模块。 使用 spring mvc ,redis, mysql,mybatis等技术开发java后端和h5端,活动发布模版管理、用户认证、礼品采购、礼品订单等模块。报名吧管理运营后台的开发 主办方认证审核、主办方相关数据导出、主办方基础核验等功能。 解决js脚本注入等难题
1650Javaredis
项目包含视频播放、语音读题、板书、直播等,有常见的sqlite本地数据存储,弹窗管理器,H5混合页面,Unity混合项目
530ios
此ETL工具的特点是速度很快(kettle需要同步3个小时的数据这个工具只需要半个小时就能全同步完),分组管理比较灵活(适用于当时公司的诉求),缺点是支持的数据库字段类型不够全面,只支持最常用的,JSON等复杂类型无法处理 项目分为三个核心模块 1. 分组模块,对调度任务进行定义以及分类 2. 调度模块,每个分组会绑定一个调度任务,调度任务执行具体的定时任务,包含了corn表达式的解析功能以及定时执行任务的功能,其特点是上一个调度任务未执行完,当前调度任务会等到上个调度任务执行完之后再执行 3. SQL解析工具,此ETL工具的特点就是根据SQL来进行数据同步的,所以对源DB表的查询并解析成目标DB的insert sql是最核心功能
1520Java作业/任务调度
【项目背景】 从0到1参与分布式对象存储系统的设计与开发,提供了小文件对象存储的底层能力,具备支持任意大小对象的读写、数据强一致性、服务可扩展性高。 【项目描述】 项目分三个模块,各模块之间使用grpc进行通信。 1. meta模块 负责管理副本组元数据信息及节点服务信息,使用 raft 协议保证节点之间的数据一致性。 2. gateway模块 负责对外提供 RestFul 接口,兼容 s3 协议,将用户的请求流切包、压缩成对象包发送给 datanode 模块。 3. datanode模块 负责存储block数据及对象元信息,采用 Rocksdb 存储对象元信息,分区使用 PacificA 一致性协议实现数据冗余。 【项目结果】 该项目已在线上支持6000+QPS的请求写入,毫秒级的小文件读写速度。 【负责模块】 1. gateway模块 2. datanode模块
1680Java
企业品牌视觉设计,前期调研分析同类产品风格,梳理核心关键词,提炼核心数据进行设计,让设计步骤可视化避免了直接成品导致的工作消耗,过程逐步认可调整,前期客户参与到过程中并确认大方向内容。
880
经销业务系统,通过jenkins流水线将服务打包、镜像制作、推送至私有仓库,发布在kubernetes集群,进行版本迭代、升级。减少人为操作事故
1260
仓储系统,通过jenkins流水线将服务打包、镜像制作、推送至私有仓库,发布在kubernetes集群,进行版本迭代、升级。减少人为操作事故
1230
1. 该工具可自动获取网页中指定目录下文件并储存,也可将多个储存结果进行比对,保存比对结果 2. 该工具为本人独自开发
1400JavaJava
电商系统,通过jenkins流水线将服务打包、镜像制作、推送至私有仓库,发布在kubernetes集群,进行版本迭代、升级。减少人为操作事故
1640
星巴克一体机UI,前期难点在于市面上类似参考案例较少,主要自行摸索,对于交互体验的高度距离以及 UI 布局按钮大小都需实时匹配真机测试调整,最终在一体机实现商品选择到出票兑换一整套视觉流程。
990
1. 接口提供清洗后模型的查询,根据入参返回对应出参 2. 我在项目中负责分析需求文档,根据文档编写测试用例,准备测试数据,编写jmeter脚本对接口进行功能测试
770
遥感图像融合系统主要功能为:(1)完成对多种格式遥感数据文件的信息提取与显示,包括采集波段信息、采集波长信息、显示单点光谱曲线等;(2)实现对遥感数据的地理信息的实时动态显示,显示信息包括光谱曲线、地理信息、遥感全局影像、局部影像以及部分影像放大等;(3)完成对遥感数据图像的变换处理,包括亮度/对比度调整、模糊/锐化调整、单波段灰度图像显示、多波段伪彩色图像合成等;(4)提供对遥感数据的融合处理工具箱插件,已集成算法有GIHS、PCA、GS、BT、GIHSA、GSA、AIHS、BDAIHS、BDSD;(5)提供对空谱遥感图像融合结果的评价指标。
1430C/C++图形/图像处理
项目目标为了撮合客户施工与师傅施工的信息用工平台,用户角色较为复杂,品牌方、监督方、包工头、施工师傅、跟踪客服,不同角色对应的信息差异较大,app 分为 2 个版本客户版与师傅版。web 端用于信息管理与客服对接跟踪,前期信息整理与角色沟通调查耗费时间较多。
1000APP
1. 该中台为to b端产品,包含数据比对、数据推送、数据判定、数据合成、数据转换等功能,各模块本人均曾参与前端和后端测试,熟悉mysql、oracle数据库sql语言 2. 根据模块需求编写测试用例和测试分析,每个功能点可提供50-100个测试用例,用例内容包含检查点、前置步骤、步骤描述、输入数据、预期结果
1250OA办公/协作平台
作品描述:利用Cesium搭建的一款简易沙盘,用来监控某交警辖区内的道路情况。 主要职责:需求收集、需求分析、技术原型、技术调研、供应商寻源 成果:利用GIS技术,帮助客户完成了辖区内精准的道路监管目标,可快速精确定位问题发生地,方便出警和救援
830
数据库管理系统(DBMS)包括以下主要功能: 数据库创建与定义:允许用户创建新数据库、定义数据结构(例如表、视图和索引),并指定数据的完整性约束和安全权限。 数据库查询与处理:提供对数据库中存储的数据进行查询、插入、更新和删除的功能。用户可以使用结构化查询语言(SQL)或者其他查询语言来执行操作。 数据安全性管理:对数据库中的数据进行安全管理,包括权限控制、数据加密、身份验证、访问审计等功能。 数据完整性管理:确保数据库中的数据符合预先定义的规则和约束,例如唯一性约束,外键约束等。 数据备份与恢复:提供数据备份和恢复功能,以保证数据库数据的完整性和可靠性。 数据性能优化:通过查询优化、索引、视图、存储过程等功能,提高数据库的性能和响应速度。 数据库复制与同步:允许数据在不同的数据库之间进行复制和同步,以满足数据共享和多地部署的需求。 数据库扩展与分布式处理:支持数据库的水平和垂直扩展,从而满足大规模数据处理和分布式计算的需求。 数据库监控和管理:提供数据库操作系统,用于监控数据库的运行状态、资源利用率和故障排查等功能。 数据库连接与应用集成:允许应用程序通过应用程序
1730C/C++测试工具
在爱奇艺工作时的业绩:爱奇艺客户端内 钱包 模块的功能开发&性能优化。 主要负责的模块如下—— 1.构建并编码 iOS端 DNS 映射模块,包括更新机制、淘汰机制、上报机制、动态分配 ip等。 2.构建 Http 请求可靠性模块,包括失败请求入库、失败请求重发、请求可靠性分级、失败率监控等。 3.参与卡顿崩溃监测模块的编码,包括主线程卡顿判断、线程快照、日志上报、卡顿情况分类等。 4.编码图像渲染优化模块,包括离屏渲染、异步绘制等。 5.其他页面、功能开发。
880iosios
已上线web 官方网站 https://www.mengruankj.com/ ,主要 figma 设计,输出 html 可查代码标注文档方便交付开发,缩短开发时间,项目同时适配设计移动端版本,前期进行了大量项目分析与框架交互结构设计
1260web
当前共162017个项目
×
寻找源码
源码描述
联系方式
提交