数据处理

1.数据中台提供了元数据管理,数据采集,数据开发,ai建模,数据质量,数据地图,任务调度,ide数据查询等能力,作为企业众多数据安全产品的数据基座,为数据安全产品提供快捷的访问大数据方式,能够快速获取数据并对数据进行权限管理,数据质量管理,数据资产量化。 2.主要负责元数据管理,数据开发,ai建模,数据质量四个模块 3.元数据管理,管理整个任务血缘管理,任务中各个节点字段管理,上下游维护更好的展示整个任务以及相关表数据的加工流程,数据开发模块主要通过java去实现各种统计算子,转换算子提交job到yarn执行,数据落地到hive,es或者关系型数据库中。
430java大数据
1、导入功能:根据从国税系统导出的标准格式把评估指标系统需要用到的所有数据导入系统。并生成一条记录。2、 评估打分根据资料按约定的公式计算并生成word。 其中指标每项的分数,权重可以自由设定。在运行前设定。3、 统计汇总 对企业进行风险排序,包括主要集中在哪些指标异常,分析过的企业的风险排序,以状图或饼状图显示。
370c#数据处理
1、负责了地理围栏模块、告警模块、地图监控轨迹平滑模块 2、作为地理领域专家,负责处理系统中大部分地理数据模块,包括轨迹、矢量文件、3D文件等,使用了geotools、rabbitmq、kafka、多线程、springcloudalibaba等技术栈,实现了大型商业系统 3、地理数据处理是难点,不仅数据大,格式复杂,性能要求高,有法规要求还不能出错;消息告警也是难点,通过kafka采集的各种设备,汽车等的数据,超过地理围栏就会触发告警,这些多种告警信息从kafka拿到,并通过rabbitmq通知响应的其他服务和系统
340kafka分布式应用/网格
1. 该项目主要分网络模块,文件处理模块,加解密模块 网络模块使用http协议获取输入数据,进行解密 文件模块负责将输入数据按格式写入文件,多线程异步自定义写入速度 文件模块还负责读取解析Qmt系统返回的csv数据 2. 纯个人开发
380多线程web
帮助客服实现按需 自动批量任务 客户需求:借助超市收银系统,扫码出现商品信息,然后复制商品名字,去直播中控后台搜索-上架
420android脚本编程语言
1.项目主要包括学生端公众号、教师端公众号、学生端APP、教师端APP、后台管理系统;学生端公众号主要用于学生参加活动、体验预约课程;教师端公众号用于教师注册,自助安排上课时间;APP端用户线上授课;后台管理系统包含课程管理,教师管理、学生管理等相关功能
550laravel数据处理
主要责任:项目开发负责人,前端开发 项目简介:政府类大屏展示种植类数据,采取地图展示,点击切换市级展示
610html53D图形处理库
负责模块: 1. 统计应用配置信息、报错信息:对接 Digger 生成的用户行为数据以及页面性能数 据,根据业务需求设置要监控的数据指标,系统提供:产品访问量 PV/UV 预警、埋 点事件 PV/UV 预警、页面平均加载时长(毫秒)预警、系统报错次数预警 2. 项目权限管控:校验用户是否拥有系统权限,过滤出用户拥有权限的项目列表 3. 用户声音中台:对声音中台数据的查询与展示工作,计算展示不同时间段内每个产 品的反馈建议、所在领域平均值的对应声音的数量和占比、以及不同等级评价比例 计算 4. 消息服务:针对不同需求场景触发邮件消息到用户,触发企微文本消息到系统运营 管理员测
290java日志分析和统计
本系统主要完成了,对违法建筑的直观浏览,以及项目数据,卫片数据,现状数据的叠加展示,提供了飞行,分析,以及资料管理等功能,多期模型的对比以及临时标绘等功能
390javaJavaScript MVC 框架
1. 实现pdf、word和excel文档之间的互相转换和数据处理,包括pdf转word,word转excel,excel转word等。 2. 项目独立开发者,使用Python作为开发语言。
390python数据处理
开发环境: IDEA+JDK8+Git+MYSQL 软件架构: SpringCloud+Spring + SpringBoot + MyBatis+Redis+Mq 项目描述:小马吉米绘本是人人信科技的一个业务分支,业务方向是线上加线下图书租赁,app端提供在线平台的借书租赁操作,主要流程有(加入借书架,下单借书,计算租期,还书,买断,购买会员等行为),用户还可以进行订单浏览,退订等操作;小程序主要提供在线测评,为宝宝定制书单;后台管理主要是为门店方便在线操作提供的一个pc系统,主要有商品管理,客户管理,订单管理,门店设置,权限设置等模块,app+小程序+平台后台管理共同组建一个线上的定制化借书平台。 责任描述: 1、线上订单流程(创建订单,计算订单租期、租金、押金、优惠券、邮费,订单退款,取消订单,确认收货,订单列表、详情,续租,购买、索赔,订单追踪); 2、订单相关消息预警&友情提示(待付款订单提醒等); 3、店铺管理后台接口开发(商品管理,订单管理,会员管理,客户管理); 4、能力测评(宝宝测评答题功能开发 & 宝宝定制书单功能开发); 5、顺丰物流、京东物流对接
310java微服务
1. 项目介绍 1.1. 项目描述 对图像中出现的预定义的水印进行检测,得到类别和位置信息。 1.2. 项目价值 视频内容理解的基础和刚需服务,可用于判黑、辅助限流、辅助cp搬运号识别、自动除水印等等 1.3 项目应用 算法开发,线上服务支持8个业务方 1.4. 担任角色 项目独立负责人,负责水印检测服务的代码开发。 2. 项目框架 1.1. 整体框架 * 模块一:训练样本自动生成。使用图层混合的方式自动生成训练样本。 * 模块二:神经网络模型训练。使用YOLO v5作为基本模型,吸收先进学术成果,提升模型效果。 * 模块三:服务优化。使用颜色-空间特征过滤等方式提升测试阶段模型性能。 2.2. 难点 * 数据获取和标注成本最小化->训练样本自动生成 * 小logo、透明logo检测难度大->模型优化 * 相似logo干扰严重->模型优化 * 保障极小占比的准确率和和服务高并发->服务优化
480pythonpython
摘要: 背景:变应性鼻炎是一种慢性疾病,在日常生活中有多种危险因素使人容易罹患变应性鼻炎,包括接触变应原和吸入刺激物。分析可能诱发变应性鼻炎的潜在危险因素,可为患者在日常生活中减少其发生提供参考。目前关于变应性鼻炎危险因素的研究多基于调查方法,可能针对特定人群和特定场所。因此,它们可能对患者的广泛危险因素提供有限的见解。 目的:社交媒体平台的存在让用户可以分享经验和观点。本研究旨在构建基于社交媒体评论识别变应性鼻炎危险因素的智能方法(TopicS-ClusterREV)。 方法:检索知乎"变应性鼻炎"主题下2012年5月至2022年5月的所有数据,获得9,628条帖子和33,747条评论。首先,我们半自动构建主题词列表,通过增加预测中心词主题的任务来训练主题增强的词向量表示(topic-enhanced word vector representation, TopicS),对Skip-gram模型进行改进。然后,我们对包含危险因素的手动注释文本项进行矢量化,并训练危险因素分类器。最后,我们将这些分类文本分组,以更好地理解识别出的危险因素。 结果:我们的模型检查了3
320python中文分词库
自动化配置引擎,所有新规则统一apollo配置,避免多次开发,使用redis发布订阅,多协程处理请求,使用飞书进行配置人员结果通知
410gorm服务框架/平台
该项目作为数据湖底座平台,融合元数据中心以部门团队为基础,按各部门领域落地入湖表,将需要集成的表通过平台化操作, 关联各项数据血缘关系后,最后部署到目标库中。解决各部门入湖难/慢/等顾虑,为各部门提供更好的自动化部署平台服务,基于jalor6架构的框架,前台页面采用Vue框架,实现前后端分离,个人在项目中负责入湖部署流程中的建表脚本逻辑、 对账户进行提交授权电子流,入湖后的血缘关系及标签功能开发。并处理各部门反馈意见以及流程中发现的错误。
350java数据处理
数据建模的测试工作,数据建模是联想大数据平台里的应用,用于数据模型的建立,给予了用户在建立数据模型时的可视化的操作
370黑盒测试数据处理
职责:团队负责人、数据库表设计、各模块搭建及设计、核心模板开发、解决问题 主要内容:(1)数据采集(2)数据处理(3)检验评估(4)产品统计(5)产品及评估结果显示。 技术路线:SpringBoot + SpringMVC + Mybatis + mysql + redis + VUE + python+docker + shell 个人成长:数据库方面:(1)数据量大,单表2亿条数据,做分表,加索引,提高检索效率。(2) 多模块连接数据库,导致连接数不够问题,排查问题,并为mysql设置max_connections。(3)数 据查询优化。(4)解决mysql 的 REPLACE INTO 多线程并发处理同一张表导致表死锁。 数据方面:(1)数据源不稳定,导致检验评估、产品统计,遗漏时次,利用Redis记录已作时次, 避免未作、少做和重复做。(2)缓存热点数据。
410java数据处理
根据工信部SIM卡实名认证规定所开发的实名认证相关业务平台。主要分为三部分:后台管理端、用户端。 后台管理端提供,权限相关分配,数据字典配置,短信模板配置等,相关后台功能;以及对自动实名认证进行人工抽查;自动分配工单,简化客服人员工作。 我的职责:1) 获取身份证正反面及手举身份证的采集图像。2)对身份证正面进行人脸检测、清晰度评估、公民身份号码的采集。 3)对身份证反面进行有效期限和签发机关数据的采集。4)对手举身份证图片的 人脸检测、人脸清晰度评估、人脸3D检测、人脸活体检测等. 5) 匹配人脸识别的用户名等。
340C/C++数据处理
1.大屏分为三部分,左侧展示数据,列表等。中间展示可以下钻的地图。右侧有各种统计用图 2.主要用echart展示,部分飞线等使用svg图处理 3.内网作品不便展示
260html5动画(Animation)
1.功能包括商城、购物车、订单、学习工具、音视频课程讲解、支付 、分享等功能。 2.一款中小学生在线教育APP,为用户提供家庭学习场景下服务、专项提升、学习工具等。
330ios列表(Table)
当前共270个项目
×
寻找源码
源码描述
联系方式
提交