Hadoop

项目名称：项目三：基于头条巨量引擎，百度营销和阿里汇川爬虫软件架构：python3，cv2(open-cv)，muggle-ocr，pyppeteer项目描述：主要运用多进程和多协程通过opencv和muggle-ocr绕过滑动验证码以及复杂图片的验证，实现自动化入库投放渠道信息，通过spark和p

软件架构：python3，scala，spark，flink，实时数仓，离线数仓项目描述：主要通过spark构建离线数仓和flink构建实时数仓来实现风险监控、风险预警和风险数仓，通过监控指标和归因指标以及数仓建模实现自动预警，高效反馈关键考核指标的变化因素，支持风险团队的快速分析，高效定位问题，以

项目名称：项目一：开发大数据平台，基于大数据平台做用户画像软件架构：flink,hadoop,spark,presto,java,python3,mapreduce,shell,kafka,sklearn,doplinscheduler项目描述：每天从百度上百亿数据刻画用户画像来提高用户续费率。责任

产品功能列表优化说明现金头寸管理实时监控和管理资金余额，支持多账户、多币种的现金流调度与结算，帮助企业优化流动性，降低闲置资金成本。证券可用管理精准跟踪证券持仓及可用数量，支持质押、冻结、交易可用量管理，确保交易顺利执行并提高资产利用效率。实时收益与业绩归因提供投资组合实时收益监控，并进行多维度业绩

1.知识中心、概念配置、关系配置、多数据源抽取、图谱探索、知识图谱血缘可视化。2.知识融合，融合多源异构知识，通过策略优化提升知识的一致性、准确性和可用性；知识推理，利用逻辑推理技术挖掘知识间的潜在关联，增强系统的语义理解和智能决策能力。3.RAG知识智能问答，构建基于大语言模型（LLM）与知识图谱

1.基础功能：小程序端业务办理、诉求反馈、15分钟生活圈查询；管理端业务审批、数据统计。​2.数据平台核心功能：①数据治理模块：对接民政、社保、计生系统数据，通过数据清洗工具剔除重复/无效数据，建立统一数据标准，形成街道“民生数据中台”；②分析看板模块：用ECharts搭建运营看板，展示业务办理量（

需求：为江苏省基础地理信息中心开发内部分公司自动化系统，需整合空间数据管理、项目跟踪与流程审批功能。本人负责：作为全栈开发，参与工作流引擎、审批管理及数据系统模块的设计与实现。开发完善：基于flowable工作流引擎构建灵活审批流程，支持BPMN2.0标准建模与动态表单配置；开发审批设置与管理模块，

1、给业务人员提供用户标签超市的明细数据做营销活动使用2、给市场部提供日常投流的各种分析结果报表3、扩展三方数据接口给外部厂商赋能4、打破各级数据孤岛，建立数据资产明细，充分为合作方挖掘数据价值

1、源数据采集，轻度汇总，为数据分析师出分析报表2、定时执行潜在目标用户筛选模型，为营销部门做营销活动传输用户数据3、广告合作方效果数据汇总，为市场部投放广告提供关键词优化数据参考

1.基础功能：小程序端扫码报修、维修进度查询；维修端接单/记录上传。​2.数据平台核心功能：①设备数据模块：实时采集设备运行数据（每10秒1条），存储至时序数据库，异常数据（如温度超标）自动标记；②分析预警模块：分析设备运行数据，生成故障预测模型（如“转速波动≥10%→24小时内可能故障”），同步搭

首先使用python的senlenium+xpath爬取安居客的北京租房信息数据，然后使用pandas对爬取的数据进行预处理，然后使用pymysql将数据写入mysql以及hadoop大数据平台。然后使用sparksql对数据进行数据分析，将分析的指标存入mysql，然后利用flask+echares从mysql里面抽取数据进行数据分析的可视化

IOT管理系统是一款物联网技术的智能设备管理软件，本软件支持多种设备接入方式和数据传输协议，具有以下主要功能特点： - 设备接入管理 - 设备状态和数据监控 - 设备配置和命令下发 - 数据可视化和分析报告

1、获取数据集 2、使用linux环境进行数据分析和存储 3、使用springboot+mybatis+html+echarts实现前后端数据交互实现大屏展示 4、使用Hadoop大数据分析环境、saprk计算引擎、scala语言编码、hbase数据存储