HDFS

该系统围绕医院“诊前-诊中-诊后”全流程设计，包含7大核心功能模块：1.门诊管理：支持线上线下挂号、分诊叫号、医生开方（关联药品/检查项库）、处方审核，实时同步患者就诊进度；2.住院管理：覆盖入院登记、床位分配、医嘱执行、费用记账，可批量导出住院清单，自动预警超期住院；3.药品管理：实现药品入库/出

项目名称：项目三：基于头条巨量引擎，百度营销和阿里汇川爬虫软件架构：python3，cv2(open-cv)，muggle-ocr，pyppeteer项目描述：主要运用多进程和多协程通过opencv和muggle-ocr绕过滑动验证码以及复杂图片的验证，实现自动化入库投放渠道信息，通过spark和p

项目名称：项目一：开发大数据平台，基于大数据平台做用户画像软件架构：flink,hadoop,spark,presto,java,python3,mapreduce,shell,kafka,sklearn,doplinscheduler项目描述：每天从百度上百亿数据刻画用户画像来提高用户续费率。责任

产品功能列表优化说明现金头寸管理实时监控和管理资金余额，支持多账户、多币种的现金流调度与结算，帮助企业优化流动性，降低闲置资金成本。证券可用管理精准跟踪证券持仓及可用数量，支持质押、冻结、交易可用量管理，确保交易顺利执行并提高资产利用效率。实时收益与业绩归因提供投资组合实时收益监控，并进行多维度业绩

1.多维度查询企业画像应用目前支持17个维度的企业信息查询，涵盖了工商、税务、进出口、电力、社保、融资等信息。2.图数据库的应用1）关系图谱关系图谱是利用图数据作为数据依据，以关系图作为可视化的展示效果，展示企业与企业、企业与自然人、自然人与自然人之间的关系，绘制成庞大的关系网络，形成企业群组，并在

1、功能模块：接入量子随机数发生器；随机数分布存储与管理；密钥额度、使用记录与用户管理；密钥安全分发服务；密钥分发协议；密钥分发SDK2、主要功能：把量子随机数发生器产生的密钥依据用户的使用情况源源不断的安全的分发使用端

大数据平台是一站式大数据开发管理平台，基于 Hadoop、Spark 等大数据计算引擎，提供数据开发、任务调度、数据资产管理和数据质量管理等全方位的大数据产品服务。涉及 dataworker 平台、datax 数据同步服务、dzlog 日志数据采集服务、小海螺服务、jobserver服务、thrift-server 服务、jupyter 服务等。 技术栈：springboot、nginx、spring-security、jwt、hive、hbase、elasticsearch、clickhouse、kafka、mysql、redis、jupyter、livy、ai应用开发

项⽬简单描述：通过前端埋点收集⽤⼾⾏为数据数据，业务数据采集采⽤同步策略存储在Mysql，⽤户⾏为数据采集使⽤flume通道，设置ELT拦截器获取⽇志时间戳，通过kafka消息队列暂存⽇志⽂件，业务数据通过Maxwell暂存kafka，所有数据经过⼀系列操作最终流⼊Mysql，通过数据接⼝可以⽣成可视化报表 技术栈：Hadoop，Zookeeper，Kafka，Flume，Spark，Hive等 项⽬总结：本项⽬主要采集电⼦商务平台的⽤⼾⾏为数据和业务数据，业务数据通过调研最晚可到达200天，每次可抽取 处理200天的数据，通过⼤数据组件分析⽤⼾⾏为，利⽤分析结果达到推测⽤⼾喜好，推荐类似商品的效果

1. 车企车辆数据处理 2. 车辆行程划分，电子围栏 3. 驾驶行为模型开发 4. 车辆实时，离线数据开发1. 熟练掌握Java、Scala 熟悉Linux 、Shell、Python 。 2. 熟悉MaxComputer、Hologres、clickhouse 、Presto、HBASE、Hive、Flink 、Spark、Kafka、Datahub等大数据处理技术，熟悉性能优化和问题排查等。 3. 熟悉数据仓库开发，数据建模、大数据环境搭建、大数据架构设计 。 4. 对数据采集、数据建模、数据开发、数据治理、数据应用等大数据领域有实战经验善于解决问题和分析问题，攻关系统研发中的重难点技术问题，并制定相关的技术解决方案。

主要是使用oracle的存储过程去开发报表，针对业务侧的需求提供数据支撑，将数据对接到指定的可视化报表展示平台，完成地区数据的分析。主要使用传统数据库oracle去完成数据分析工作，数据的采集，清洗和加工，和数据的建模，和数据的治理，敏感数据的脱敏，做到生产库没有用户敏感数据，完成不同业务域的数据分析工作。主要是使用oracle的存储过程去开发报表，针对业务侧的需求提供数据支撑，将数据对接到指定的可视化报表展示平台，完成地区数据的分析。主要使用传统数据库oracle去完成数据分析工作，数据的采集，清洗和加工，和数据的建模，和数据的治理，敏感数据的脱敏，做到生产库没有用户敏感数据，完成不同业务域的数据分析工作。

1 、本项目旨在设计一套数据质量报告开发方案 ，通过构建数据质量评估体系 ，实现对数据质量的全面监控和报告 ，以帮助企业识 别数据问题 ，优化数据管理 ，提升数据价值 ， 因此需要一套数据监控管理平台统一归档各系统来源数据 ，进行数据标准化监管 ，并 对外分发合格数据。 2 、项目使用hadoop 、hive 、spark 、datax 、dolphinscheduler 、S3 建设 3 、根据用户制定的质量规则 ，进行数仓开发 ，满足用户需求

通过flume和sqoop数据采集工具，采集文件日志中的用户行为数据和数据库中的数据到hdfs 文件系统。然后到基于hdfs文件系统构 建外部分区表，建立总体的数据仓库框架。数据仓库 ods层直接保存原始数据，dwd层对数据进行一些预处理，dws层保存一些中间 层数据用于 app层数据调用。在数据仓库上完成相关指标统计，例如新增用户统计，用户流失统计，操作系统活跃性，商品指标信息 的相关指标。

1、 协助完成《指标口径文档详情文档》的探查工作，存贷款部分包括协定存款、通知存款、一般定期、大额存款、结构性存款、协议存款、白名单存款、白领通、普惠贷款等等，探查范围包括业务种类，数据标准，业务口径等等，探查指标类型有衍生指标、新建指标、存量指标。 2、 独立完成存、贷款ODS取数逻辑（其中包括机构拆分），有对公定期存款、对公活期存款、个人定期存款、个人活期存款、对公结算存款、应解汇款及临时存款、开出汇票本票，对公账户贷款、个人账户贷款、信用卡贷款、贴现业务等等12个业务场景及表结构设计。 3、 协助前端指标配置及测试工作。

大数据分析平台整体以分布式存储为设计和分析的思想进行架构设计，为公司的业务系统提供大数据解决方案，提高业务系统的实时查询性能和网络吞吐量。主要以CDH6.1.0为hadoop大数据平台的技术底座，对hadoop组件体系的集群化管理，统一控制台运维管理hadoop组件的稳定性、伸缩性、容错性、高可用性等等，可以良好的兼容Spark Streaming2.4.0、flink1.6.0、storm1.2.0等流式计算框架，集成了hive sql、spark sql、java jar、spark、shell、python离线计算资源，集成了impala3.1.0查询引擎，以及与kudu1.8.0 等存储引擎的良好集成，引入了dolphinScheduler1.0.0工作流分布式调度系统，支持spark, hive, mr, python, sub_process, shell等等任务调度。上层应用以springCloud Edgware.RELEASE微服务架构为基础、结合mysql5.7 、redisGraph1.0.8图数据库、es6.4.0、rocketmq4.2.0 等中间件和数据库搭建应用服务平台，再以vue.js2.6.0 实现前端用户UI界面的高效渲染，完整的实现前后端分离的架构设计方案。主要包括规划、研发、资产、市场、系统管理五大模块。我主要负责整个系统的需求分析、架构设计、工作安排、开发运行环境的搭建以及后期应用的部署上线。

主要从事银行业数据开发方向以及ETL方向，针对银行业务需求制定解决方案，主要以写SQL为主，以及shell脚本和工具使用等，还做过BI报表分析等 1.熟练掌握Oracle、MySQL、DB2、GBASE、HIVE、达梦等关系型数据库； 2.熟练掌握以上数据库各种常用函数的使用、存储过程、执行计划等，对 SQL 性能调优等； 3.熟练使用ETL处理工具，KETTLE、DATASTAGE等； 4.熟悉银行相关业务，存款、贷款、资金、理财、票据、债券、同业等； 5.掌握linux系统基本命令和编写 shell 脚本以及Python脚本； 6.熟悉Hadoop、hive、kafka、NCDS 等相关技术组件，熟悉 Hive SQL 应用开发； 7.熟练使用JAVA基础开发； 8.熟练掌握EXTJS前端开发； 9.熟练掌握帆软报表开发使用；

随着数据越来越多，传统的服务后台和一般的数据库已经无法满足海量数据的存储、计算和快速检索查询，为了解决大量数据带来的数据处理效率低、查询数据慢的问题，使用hadoop生态组件，基于大数据分布式集群，实现数据的高效运转。

连接多个渠道/电商平台的API，实时获取订单及其它重要数据。对接传统restfull API接口，也支持EDI、XML、SFTP、AS2等多种对接方式。

CRM大数据营销系统是一套基于大数据计算与应用的系统，为了解决运营人员智能化营销、策略营销的需求，同时完成公司智能化平台运营的目标，系统在智能运营、用户画像、策略营销、数据分析等方面发挥持续不断的助力，为客户提供了更多的投资选项，发挥了更好地服务于客户的作用，系统采用idea为开发平台，git为版本控制工具，基于Spring boot、spring cloud(eureka、ribbon、hystrix、sleuth)框架的J2EE分布式微项目，采用mysql为数据库服务器，nginx+tomcat为应用服务器,并使用redis集群、hbase集群、mongodb集群、hdfs、kafka集群、zookeeper集群、hive、spark sql、spark streaming、log stash日志收集等技术，系统包括登录与退出系统、总览、标签体系、营销中心、数据中心、风控管理、账号管理、数据中心等模块。 项目职责 参与项目的需求分析与架构设计，具体工作内容包括：系统数据收集功能开发、系统业务指标分析功能开发、系统模块功能实现、系统底层工具类的编写、第三方接口对接、hbase表的设计、mongodb collection的设计工作等。

技术栈：SparkSQL，Hive，Flinkx，ClickHouse，海豚调度，数仓维度建模，Kafka，PolarDB 数据化服务平台提供了各种业务数据的分析与展示，便捷地获取完整、准确、丰富的数据分析结果，支撑业务精准和快速决策。但由于1.0版本的数据存储与计算完全基于Mysql，导致数据计算过慢，历史数据无法获取，对于一些复杂指标的统计无法直接通过Mysql中现有数据直接计算得到。所以数据化服务平台中需要一种新的存储及计算方式。2.0版本使用数据仓库进行改造，并结合大数据能力进行存储与计算，彻底解决了1.0版本中存在的性能瓶颈与功能缺失。 我在项目中的职责： 1.设计数据化服务平台2.0整体功能架构； 2.数据仓库主题划分、各层模型设计与创建(ods,dwd,dws,ads)； 3.Flinkx部分同步任务编写； 4.数据仓库核心数据加工任务开发； 5.海豚调度配置整体任务流程；

技术栈：Flink，Flink CDC，Kafka，Redis，PolarDB 随着公司越来越多的业务场景对实时性要求越来越高，传统的Java程序已无法满足业务需求，需要采用Flink实时计算框架来对业务进行支撑。Flink大数据实时计算服务内部包含了多个Flink任务流，分别处理多个不同的业务流程。并且结合Flink cdc服务进行数据同步，使得业务处理更加高效、便捷。 我在该项目中的职责： 1.构建Flink实时计算项目框架，搭建整体服务架构，包括Flink项目工程样例创建，数据库工具类、Kafka工具类、Redis工具类、日期工具类等。 2.java程序改造Flink，某些新的功能需求使用Flink实现，具体的服务有： (1)电站潮流图秒级计算服务，实时接收设备上传的秒级测点数据，每10s一个窗口进行数据计算并推送结果给前端； (2)通信设备时区实时纠正服务，实时接收设备升级和时区设置成功指令数据，判断是否和电站时区一致，若不一致则下发时区指令进行通信设备时区纠正； (3)电站设备实时同步服务，实时接收Flink cdc服务推送的电站、设备相关表的变更数据，同步写入到ES索引中，供阳光云Web及App页面数据查询； (4)flink-sungrow-cdc服务，使用Flink cdc技术实时监听核心业务库(PolarDB)变更数据，并根据指定规则将不同表的数据发送到不同kafka队列中，供其他业务使用；