大数据

该项目主要针对海康综合安防平台做API对接。 其中包括多种数据从别的数据库表中对合法数据进行清洗 清洗的结果数据进行海康综合安防平台数据下发。 通过后台定时任务调度对数据进行定时调度和清洗。

1.项目包含 meta-service, meta-ingestion, 和核心datahub-gms (开源二次开发). 2. 开源项目 datahub 源码修改, 提高访问Elasticsearch的可用性, 元数据采集模块的开发, 元数据查询模块的封装. 3.数据平台基础设施, 支撑上层数据应用.

先将地图可视化，之后进行指标计算，再进行指标数据预处理，处理数据中的空值，进行相关性分析，标准化处理，主成分分析建立神经网络模型，最后输出实验结果。

【医疗元数据管理】 后端系统100%设计和编码，前端参与60%的编码工作。 模块： 1、多源数据采集 2、元数据管理 3、元元模型管理 4、数据血缘管理 5、数据巡检和质量管理 6、其他 简介： 此系统作为医疗数据中台，核心功能为元数据收集，数据处理和提供数据。兼顾数据治理和数据质量检测等其他功能。

【四川人口数据可视化大屏】 参与前后端100%编码 简介： 集中并多维度的展示四川省人口数据。 注意。因相关数据敏感性和保密协议，显示的系统截图均为其他行业的乱假数据，仅供演示。

Hadoop, Alluxio自定义 十年以上大厂丰富开发经验。 java，大数据开发，大数据底层都擅长。 某开源社区committer提名中。 985大学。 java开发可以涉及各业务。 java技术全面。 大数据中台全面，各主要平台都参与过。 大数据底层，查询和存储都搞过源码。 也可以搞点前端。 英语读写流利。 在家gap中，接点活过度下。 目前时间比较充沛。各位老板有需求可以找我。可长期合作。 按时交付。 代码质量高。 愿意一直维护。

1、通过flume和kafka等组件工具采集数据，使用flink流引擎进行数据的清洗和入库 2、针对采集的数据进行建模，针对需求设计数据仓库，对数仓分层建模等 3、针对场景需求，使用spark和flink等引擎组件分别对数据进行批计算和流计算

1.后端功能开发。 2.项目协调。 3.数据整理、清洗、入库。 4.项目上线、日常维护。 5.微服务搭建。 6.数据结构设计。 7.匹配算法调优。

数聚超市模块是采用的新技术框架，采用全新技术做完全前后端分离，后端 web 使用k8s集群容器部署，接 入 cdn 完全缓存静态资源来加快页面访问速度，整个项目的部署采用全新的技术框架，使用容器部署，推动微服务部署 优化系统各个子模块的进一步解耦，提供服务的高可用性，可滚动更新升级，大大简化运维发布的流程，解决各种环境 不一致性的问题； 你的成就： 完整搭建了一套k8s集群环境支撑系统上线，更新旧的运维架构 主导整个部署架构，买硬件服务器到数居中心 idc 机房托管，搭建k8s集群，做好监控，制定上线流程等

1、新能源汽车官网门店数据采集 2、web官网，小程序，app数据采集 3、常见的js加密，验证码，app逆向反爬等都可解决

实时对接道路电子卡口数据，基于最短路径法则对车辆行驶轨迹进行路径补全，从而预测道路实时交通拥堵状况，辅助交警运维对信号放行方案进行优化。 选用技术栈：Kafka、Flink、Hbase等大数据组件

智慧热网数字孪生可视化平台-对智慧工厂实体全要素1:1-3D建模,对接MES/WES等多源数据,还原生产现场,虚实同步孪生,实现生产数据实时反馈,实时监控,异常精准定位,全局透明化。

项目描述： 根据需求完成数据统计和前端可视化大屏展示 工作职责： 后端数据处理、数据库分库分表、慢SQL优化等等

本平台以自疫情爆发以来国外和我国国内各省市地区的疫情数据及新闻信息作为研究对象，研究 设计了以互联网、大数据为核心架构的智能防控平台，通过“加工”实现数据的“增值”，从而提高数据 可读性、易用性以及信息的及时更新快速传播，提高应对突发事件的能力，将信息展示给全国人民从 而增强居民自治能力，化解风险、保障安全，减少疫情带来的各方面损失。 从疫情数据，疫情新闻，疫情就医，群众自治等几个方面进行数据管理及分析展示，利用前端技 术将有价值的数据可视化展示在面板中以供用户查阅，有效支撑疫情防疫防，控，治，管新机制，全 面提升区域疫情防控效率，基层综合防疫能力及居民自我防疫意识[8]。其中主要的研究内容为： （1）通过数据爬虫技术爬取网站上的疫情数据，并进行数据清洗及储存。使用 Beautiful Soup 解析 网页；清洗和组织数据；部分网站利用已经开放的API接口获取原始数据。 （2）获取已经保存在数据库中的国内外的疫情数据，然后利用通过数据可视化技术展示在界面上。 （3）设计网页，基于SringBoot的网页设计，使用JavaScript脚本，CSS样式表进行前端页面的编程和 展示。静态地修

1、在虚拟机中搭建大数据集群，覆盖zookeeper、hadoop、hive、flume、kafka和spark等组件 2、爬取携程、去哪儿、同程等多个旅游网站的旅游路线数据信息 3、针对旅游路线进行相应的统计分析 4、将分析结果通过echarts组件进行可视化展示 5、将所涉及的所有组件、使用、延伸学习等知识向客户培训

目前，市面上通讯系统大多数都比较过时了，功能比较单一，通常只提供一种发送方式，确认机制也不完善。大一点的系统对于普通人群使用有难度。而我们的系统就具备了如下特点： （1）使用方便简单，页面简洁，无需特别培训，附和大多数人的使用习惯 （2）多平台并用。 （3）不仅可以使用我们的系统发送消息，而且可以供其他系统调用 （4）系统可以回调消息发送状态，可以查看每个号码的接收时间，接收状态，由此可以查出哪个电话号码填写错误。 主要创新点： （1）使用消息中间件（RabbitMQ），很好地解决了断网情况下，用户发送短信的数据丢失的问题。实现大致流程为：用户在web端填写好数据点击了发送按钮之后，数据会被暂时存储进RabbitMQ的交换机然后路由给服务器中的消息队列，数据会一直保存在队列中，直到连接上网络，将消息发送到手机端。 （2）可发送的号码量一次性超十万条，只要用户把数据传入RabbitMQ中，短信就会在消息队列中排队，直到发送到手机端。实现解耦，各个接口分开处理业务，互不影响。统的接口调用简单，各个模块可供调用，很好地实现了各个系统之间的对接。 （3）延时发送，利用RabbitMQ延时队列实

Presto Trino 等等开发 十年以上大厂丰富开发经验。 java，大数据开发，大数据底层都擅长。 某开源社区committer提名中。 985大学。 java开发可以涉及各业务。 java技术全面。 大数据中台全面，各主要平台都参与过。 大数据底层，查询和存储都搞过源码。 也可以搞点前端。 英语读写流利。 在家gap中，接点活过度下。 目前时间比较充沛。各位老板有需求可以找我。可长期合作。 按时交付。 代码质量高。 愿意一直维护。

1.与甲方沟通需求，熟悉业务，并根据业务设计Tableau报表样式以及后台表结构 2.使用Python抓取Web Service的Json数据 3.使用Kettle对多层次的JSON数据进行解析，并生成接口表。 4.编写SQL，在接口表的基础上建立模型层和语义层宽表，开发应用表。 5.编写bat批处理脚本，调度Python脚本和Kettle的JOB，并使用 Windows计划任务，实现自动化调度 6.上线部署以及维护文档的编写

先建立jupyter的工作环境，用page函数表示url链接，伪装成浏览器，然后进行信息筛选、过滤。获取网页信息，包括网页中包含的电影名称、星级，链接。最后按星级进行排名。

1. 对于第1部分，使用 "sudo docker -f Dockerfile ... "命令来构建镜像，然后使用 "sudo docker images "命令找到我们创建的镜像ID。 命令 "sudo docker images "来找到我们创建的镜像ID，然后用 命令 "sudo docker run -d -t [image ID]"来构建容器，然后使用命令 "sudo docker ps "来查找容器的ID，之后，使用命令 "sudo docker exec -it [container ID] /bin/bash "来登录到容器中。最后一步，使用命令 "bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount input/ output/"来运行wordcount例子。 2. 对于第二部分，使用名为test.java的j