Hadoop

该系统围绕医院“诊前-诊中-诊后”全流程设计，包含7大核心功能模块：1.门诊管理：支持线上线下挂号、分诊叫号、医生开方（关联药品/检查项库）、处方审核，实时同步患者就诊进度；2.住院管理：覆盖入院登记、床位分配、医嘱执行、费用记账，可批量导出住院清单，自动预警超期住院；3.药品管理：实现药品入库/出

功能模块1.数据采集与接入 ◦对接产线设备（测试机、量测仪、MES系统、ERP系统等），实时采集工艺与测试数据 ◦支持多协议（SECS/GEM、OPCUA、Modbus）与国产设备接口 ◦建立统一数据接入层，解决数据孤岛问题2.数据处理与标准化 ◦数据清洗：去除异常值、补齐缺失值 ◦格式标准化：统一

项目名称：项目三：基于头条巨量引擎，百度营销和阿里汇川爬虫软件架构：python3，cv2(open-cv)，muggle-ocr，pyppeteer项目描述：主要运用多进程和多协程通过opencv和muggle-ocr绕过滑动验证码以及复杂图片的验证，实现自动化入库投放渠道信息，通过spark和p

软件架构：python3，scala，spark，flink，实时数仓，离线数仓项目描述：主要通过spark构建离线数仓和flink构建实时数仓来实现风险监控、风险预警和风险数仓，通过监控指标和归因指标以及数仓建模实现自动预警，高效反馈关键考核指标的变化因素，支持风险团队的快速分析，高效定位问题，以

项目名称：项目一：开发大数据平台，基于大数据平台做用户画像软件架构：flink,hadoop,spark,presto,java,python3,mapreduce,shell,kafka,sklearn,doplinscheduler项目描述：每天从百度上百亿数据刻画用户画像来提高用户续费率。责任

基于多模态大模型(ImageBind)的推荐系统，主要解决传统协同过滤算法的冷启动问题和信息茧房现象。系统通过深度语义理解内容特征，能够实现跨模态推荐，并提供更加多样化的推荐结果。系统主要分为离线处理层、数据存储层和在线服务层三个部分，采用召回-排序的两阶段推荐架构。在召回阶段使用多种策略并行检索候

产品功能列表优化说明现金头寸管理实时监控和管理资金余额，支持多账户、多币种的现金流调度与结算，帮助企业优化流动性，降低闲置资金成本。证券可用管理精准跟踪证券持仓及可用数量，支持质押、冻结、交易可用量管理，确保交易顺利执行并提高资产利用效率。实时收益与业绩归因提供投资组合实时收益监控，并进行多维度业绩

1.知识中心、概念配置、关系配置、多数据源抽取、图谱探索、知识图谱血缘可视化。2.知识融合，融合多源异构知识，通过策略优化提升知识的一致性、准确性和可用性；知识推理，利用逻辑推理技术挖掘知识间的潜在关联，增强系统的语义理解和智能决策能力。3.RAG知识智能问答，构建基于大语言模型（LLM）与知识图谱

1.基础功能：小程序端业务办理、诉求反馈、15分钟生活圈查询；管理端业务审批、数据统计。​2.数据平台核心功能：①数据治理模块：对接民政、社保、计生系统数据，通过数据清洗工具剔除重复/无效数据，建立统一数据标准，形成街道“民生数据中台”；②分析看板模块：用ECharts搭建运营看板，展示业务办理量（

需求：为江苏省基础地理信息中心开发内部分公司自动化系统，需整合空间数据管理、项目跟踪与流程审批功能。本人负责：作为全栈开发，参与工作流引擎、审批管理及数据系统模块的设计与实现。开发完善：基于flowable工作流引擎构建灵活审批流程，支持BPMN2.0标准建模与动态表单配置；开发审批设置与管理模块，

1、数据源接入模块：承担数据的传输与清洗的角色。2、数仓模块：数据建模，通过将原始数据进行多层处理变换，使最新数据拆分到维度层中存储，历史数据抽象到其余层级进行加工，最终达到分析统计以及展示目的。3、规则组装模块：生成存储标签系统的规则语句。4、标签模块：根据标签规则库中定义的标签规则对人事数据进行

1、给业务人员提供用户标签超市的明细数据做营销活动使用2、给市场部提供日常投流的各种分析结果报表3、扩展三方数据接口给外部厂商赋能4、打破各级数据孤岛，建立数据资产明细，充分为合作方挖掘数据价值

1、源数据采集，轻度汇总，为数据分析师出分析报表2、定时执行潜在目标用户筛选模型，为营销部门做营销活动传输用户数据3、广告合作方效果数据汇总，为市场部投放广告提供关键词优化数据参考

大数据平台是一站式大数据开发管理平台，基于 Hadoop、Spark 等大数据计算引擎，提供数据开发、任务调度、数据资产管理和数据质量管理等全方位的大数据产品服务。涉及 dataworker 平台、datax 数据同步服务、dzlog 日志数据采集服务、小海螺服务、jobserver服务、thrift-server 服务、jupyter 服务等。 技术栈：springboot、nginx、spring-security、jwt、hive、hbase、elasticsearch、clickhouse、kafka、mysql、redis、jupyter、livy、ai应用开发

京飞档案管理系统（JF.AMS）基于国家档案管理相关规范（如《GB/T 18894-2016》、《DA/T 58-2021》等）而设计，实现了电子文件从收集、归档、存储到利用的全生命周期管理，确保档案数据的完整性、安全性与可追溯性。系统支持实体档案与电子档案的融合管理，并通过标准化接口与业务系统（如OA、HR、合同、财务系统）无缝对接以实现业档一体化应用。 应用场景： （1）政府机关：对接政务云，实现“一网通办”文件归档。 （2）企业：集成业务系统（如SAP、用友），管理合同、会计档案。 （3）档案馆：接收各单位的电子档案进馆，提供公众查询服务。 产品特点： （1）业档一体化 （2）多源收集且高效 （3）检索快捷且智能 （4）流程标准且合规 （5）数据完整且安全

1、 具备 linux/windows 系统的使用和故障排查能力，熟悉信创相关系统和数据库，可以编写 shell 脚本，实现自动化部署，提高工 作效率 2、精通 zabbix 和 Grafana 的组合运用，构建监控体系，实时监测存储系统的各项指标，及时发现潜在问题并 预警，为系统稳定运 行提供有力保障 3、熟练使用 Git 和 Github 进行代码管理和版本控制，能够协同开发和管理项目 4、了解网络 TCP/IP 协议和 OSI 模型和相关网络基础知识和防火墙的配置 5、熟练 oracle OGG 复制,RAC 集群部署搭建和 mysql 数据库的 MHA mycat 读写分离等架构部署以及达梦数据库相关操作 6、熟悉 Kubernetes（k8s）和 Docker 容器，以及相关的集群部署、Pod 创建和灰度发布原理，了解 docker 网络原理和相关存储，可 以编写 Dockerfile 和 Docker Compose 快速创建和管理容器 7、 熟悉 openstack 云平台，以及其 glance，swift，keystone，neutorn 等组件的之间的联系和集群的搭建部署和虚拟化工具 kvm 的 使用 8、熟悉阿里云和天翼云公有云和私有云产品（ESC，ZOS,OSS,OBS,CDN,天翼云电脑,无影云电脑，云监控等产品）的使用和故障排查 9、熟练 ceph 集群部署搭建，并对对象存储运维方面经验丰富熟悉块存储和文件存储，并了解存储系统架构与原理，能精准进行性能 调优和资源管理，确保数据存储的高效性与安全性 10、熟练运用 Ansible 和 Puppet 实现自动化运维，大幅提高工作效率，降低人为错误风险。可快速部署和配置服务器环境，轻松应对大规模系统管理任务。

降低用户对数仓数据的使用门槛 可以通过管理系统快速找到自己需要的数据 1、公司数据数据源管理 和资源使用情况监控 2、每个表数据源的血缘关系和字段信息 3、权限管理 控制每个用户使用权限和数据权限 4、自动生成接入表的相关作业 具体功能设计 ： 1、数据管理系统 架构搭建 基于开源项目搭建数据管理系统 2、数据库设计 用户表设计 Doris表元数据存储表设计 表字典元数据信息表设计 指令和回调表存储设 指令和回调的字典表设计 表的血缘关系表设计 权限表设计 角色表设计 3、页面开发 登录页面 首页统计页面 权限表列表页面 权限配置页面 角色列表页面 角色配置页面 Doris表查询页面 表字典信息页面 指令和回调列表页面 指令和回调字段列表页面 作业配置解析页面 生成解析作业页面 生成指令和回调关联宽表页面 表的血缘关系以及作业和表对映射关系列表页面 4、功能开发 登录功能开发 首页统计功能 库和表存储统计开发 Doris表列表 改查功能开发 表字典列表 修改和查功能开发 指令和回调列表 增删改查功能开发 指令和回调字段列表 字段配置和查询功能开发 开发根据指令和回调配置信息生成 对应的解析作业 开发调度华为云API生成对应的表和作业 开发生成指令和回调关联的宽表功能 解析所有Flink SQL作业 生成所有表的血缘关系以及对应的作业 血缘列表多字段查询功能开发 5、数据清洗-定时更新 Doris表元数据 定时清洗更新 Doris表字段元数据 定时清洗更新 指令和回调数据 实时更新输出 表的血缘关系 实时更新输出 6、通用功能开发 1、生成页面工具 2、页面字典内容查询功能 3、整体页面样式优化 4、后端系统监控 5、用户操作日志功能开发 6、系统字典功能开发 7、功能测试与联调 登录功能联调测试 首页统计功能 库和表存储统计联调测试 Doris表列表 改查功能联调测试 表字典列表 修改和查功能联调测试 指令和回调列表 增删改查功能联调测试 指令和回调字段列表 字段配置和查询功能联调测试 开发根据指令和回调配置信息生成 对应的解析联调测试 开发调度华为云API生成对应的表和联调测试 开发生成指令和回调关联的宽表联调测试 解析所有Flink SQL作业功能联调测试 血缘列表多字段查询功能联调测试

熟悉系统背景介绍和系统架构设计。Redis部署与启动及操作 创建Maven工程、pom.xml中添加相关依赖、添加Web模块 Kafka集群发送订单数据 Kafka消费数据 配置Jedis用来操作Redis数据库、Spark Streaming处理数据 测试系统是否能够正常工作 搭建Web开发环境、实现数据展示功能 Tomcat9.0安装及部署、可视化平台展示 自行实现商品销售TOP3的排行榜显示 修改GetDataService.java和index.jsp文件

2024.12 Hadoop平台部署与运维项⽬ ⼀、项⽬概述 2024 年 12 ⽉参与 Hadoop 平台部署与运维项⽬，聚焦⼤数据平台搭建与组 件运维，在虚拟机环境完成从基础框架到多元组件的全流程构建，夯实⼤数据 集群运维技术能⼒。 ⼆、核⼼⼯作内容 （⼀）平台与组件搭建 基于虚拟机环境，主导 Hadoop 基础平台架构搭建，规划集群节点配置，保 障分布式存储与计算框架稳定运⾏ 。 （⼆）多元组件部署与配置 数据库类：完成 hive 数据仓库、redis 缓存数据库、clickhouse 列式数 据库、hbase 分布式数据库的安装与参数调优，适配不同数据存储与查询 场景。 协同与流处理类：部署 zookeeper 实现集群协调管理，配置 sqoop 完 成数据迁移、flume 构建⽇志采集流、flink 与 spark ⽀撑实时与离线计 算，kafka 保障⾼吞吐量消息队列，maxwell 实现数据同步，构建完整 数据流转链路。 监控类：搭建 zabbix 监控系统，配置节点状态、资源占⽤等监控项，实 时预警保障集群健康。 三、项⽬价值 通过项⽬，熟练掌握 Hadoop ⽣态体系组件运维技能，能精准应对⼤数据平 台多组件协同部署、配置及监控需求，为⼤数据集群稳定运⾏提供实操⽀撑， 积累⼤规模数据环境下的运维实战经验 。

从0搭建大数据平台。fastapi定期ETL多个数据源多个层级&字段&类型的大量数据，日0.7tb。polars清洗入数据仓库HDFS ods，spark定期计算mds/sds数据存储Hive，Azkaban管理同步任务&计算任务，redash展示灵活透视表。 简单的ARMA预测模型预测业务未来走势，图表输出。推荐模型构建业务主特征，提高转化率和效率，指导销售工作。