Hadoop

•全链路物流状态秒级捕获与流式加工：利用无锁CDC技术实时抽取跨国各业务节点源表变更，自动按运单号汇聚“仓、拣、配、退”全生命周期状态轨迹。•多维长异步链路状态流式增量拼宽：取代传统内存关联，在统一的湖仓存储层利用流式合并引擎对数周内陆续到达的履约片段字段进行后台异步增量缝合。•极致存算分离与湖仓联

项目分为数据获取、数据降噪清洗、Hadoop分布式存储、深度学习建模、可视化展示五大模块。借助Java、Python、Shell脚本完成校园数据处理，依靠Hadoop承载大容量数据集，搭配R语言开展统计分析，完成特征筛选与模型训练，直观呈现数据分析与模型预测结果。

用户端以对话为主。选好专家后可以连续提问，系统返回指标卡、表格、图表和文字解读，并支持筛选、维度下钻、智慧运营场景下的归因分析；专家若配置了模板，同一次对话还可以生成看板或下载PPT。用户可以上传Excel、CSV或文本做文件问答，也可以把结果导出、收藏，并在历史对话里找回。管理端负责把这些能力配出

1.算子化（Operator）设计与解耦：将底层召回、特征抽取、模型粗排、业务过滤等复杂计算任务拆解为高内聚、低耦合的标准算子节点，彻底消除了业务新增策略时的重复开发成本；2.高性能DAG调度引擎：自主构建有向无环图（DAG）任务拓扑调度内核，支持跨计算节点的自动并发执行、依赖解析与动态拓扑分支选择

项目主要包含首页轮播、非遗项目分类展示、传承人介绍、文化资讯、活动公告、图片展示、视频介绍、留言咨询等功能模块。网站采用分区式布局，将文化内容以卡片、轮播、列表、详情页等形式呈现，用户可以通过分类导航快速浏览不同非遗项目，了解相关历史背景、传承人物和活动信息

本项目实现六大核心功能：①用户行为实时统计（PV/UV）；②基于ALS模型的个性化商品推荐；③基于朴素贝叶斯的评论情感分析；④负面舆情实时监控与预警；⑤Kafka双Topic解耦行为与评论数据流；⑥Flask+ECharts大屏动态展示实时流量、热门排行、推荐列表、情感分布、预警及吞吐量六大模块。

比值法Asthesunsinksslowlybelowthehorizon,itpaintshalftheskyinshadesofgoldandsoftred,castingawarmglowovereverythinginsight.Peoplewalkalongthestreet,headin

企业知识库：构建多源异构数据接入层，支持文档（PDF/Word/Excel/PPT/TXT）、数据库（MySQL/PG等结构化元数据）、视频流（音视频转录与语义索引）的统一导入、解析与向量化存储，形成企业专属知识图谱。AIAgent智能体：支持文本/语音多模态交互，融合LLM推理与工具调用能力，实现

-阿里千问大模型（text-embedding-v3）-Redisearch向量搜索-LangChain4j框架-智能对话系统-个性化食疗方案生成

1.用户画像服务，存储每个用户设备的画像，如兴趣、年龄、地理位置等信息2.广告主平台，给广告主提供投放的相关功能和数据分析3.推荐引擎，链接媒体和广告主的引擎

本项目构建了完整的IFRS17财务数据平台，核心功能模块包括：**1.数据探源与接入模块**：对接保险核心业务系统、再保系统、精算系统等10余个源系统，完成保单级、赔案级、费用级明细数据的全量抽取与增量同步。**2.数据标准化与校验模块**：设计标准数据模型，实现源系统数据到标准模型的映射转换；构建

爬虫、大数据分析系统，通过获取的4G、固网、无线等数据，分析人员拓扑。通过数据分析提取人员结构化数据，形成知识图谱。实现通过手机号、身份证号码、姓名、QQ等内容查询人员家庭信息、快递信息等信息。

1.AI脚本生成（输入主题自动生成分镜头脚本+台词）2.一键成片（选模板+素材自动剪辑拼接，配乐自动踩点）3.热门文案库（抓取抖音/快手/B站热榜文案，支持二次创作）4.素材库管理（视频片段/图片/音效/字幕模板分类管理）5.智能配音（多音色AI配音，支持方言和外语）6.字幕自动生成（ASR语音识别

项目名称：项目三：基于头条巨量引擎，百度营销和阿里汇川爬虫软件架构：python3，cv2(open-cv)，muggle-ocr，pyppeteer项目描述：主要运用多进程和多协程通过opencv和muggle-ocr绕过滑动验证码以及复杂图片的验证，实现自动化入库投放渠道信息，通过spark和p

软件架构：python3，scala，spark，flink，实时数仓，离线数仓项目描述：主要通过spark构建离线数仓和flink构建实时数仓来实现风险监控、风险预警和风险数仓，通过监控指标和归因指标以及数仓建模实现自动预警，高效反馈关键考核指标的变化因素，支持风险团队的快速分析，高效定位问题，以

项目名称：项目一：开发大数据平台，基于大数据平台做用户画像软件架构：flink,hadoop,spark,presto,java,python3,mapreduce,shell,kafka,sklearn,doplinscheduler项目描述：每天从百度上百亿数据刻画用户画像来提高用户续费率。责任

产品功能列表优化说明现金头寸管理实时监控和管理资金余额，支持多账户、多币种的现金流调度与结算，帮助企业优化流动性，降低闲置资金成本。证券可用管理精准跟踪证券持仓及可用数量，支持质押、冻结、交易可用量管理，确保交易顺利执行并提高资产利用效率。实时收益与业绩归因提供投资组合实时收益监控，并进行多维度业绩

1.知识中心、概念配置、关系配置、多数据源抽取、图谱探索、知识图谱血缘可视化。2.知识融合，融合多源异构知识，通过策略优化提升知识的一致性、准确性和可用性；知识推理，利用逻辑推理技术挖掘知识间的潜在关联，增强系统的语义理解和智能决策能力。3.RAG知识智能问答，构建基于大语言模型（LLM）与知识图谱