Hadoop

爬虫、大数据分析系统，通过获取的4G、固网、无线等数据，分析人员拓扑。通过数据分析提取人员结构化数据，形成知识图谱。实现通过手机号、身份证号码、姓名、QQ等内容查询人员家庭信息、快递信息等信息。

1.AI脚本生成（输入主题自动生成分镜头脚本+台词）2.一键成片（选模板+素材自动剪辑拼接，配乐自动踩点）3.热门文案库（抓取抖音/快手/B站热榜文案，支持二次创作）4.素材库管理（视频片段/图片/音效/字幕模板分类管理）5.智能配音（多音色AI配音，支持方言和外语）6.字幕自动生成（ASR语音识别

项目名称：项目三：基于头条巨量引擎，百度营销和阿里汇川爬虫软件架构：python3，cv2(open-cv)，muggle-ocr，pyppeteer项目描述：主要运用多进程和多协程通过opencv和muggle-ocr绕过滑动验证码以及复杂图片的验证，实现自动化入库投放渠道信息，通过spark和p

软件架构：python3，scala，spark，flink，实时数仓，离线数仓项目描述：主要通过spark构建离线数仓和flink构建实时数仓来实现风险监控、风险预警和风险数仓，通过监控指标和归因指标以及数仓建模实现自动预警，高效反馈关键考核指标的变化因素，支持风险团队的快速分析，高效定位问题，以

项目名称：项目一：开发大数据平台，基于大数据平台做用户画像软件架构：flink,hadoop,spark,presto,java,python3,mapreduce,shell,kafka,sklearn,doplinscheduler项目描述：每天从百度上百亿数据刻画用户画像来提高用户续费率。责任

产品功能列表优化说明现金头寸管理实时监控和管理资金余额，支持多账户、多币种的现金流调度与结算，帮助企业优化流动性，降低闲置资金成本。证券可用管理精准跟踪证券持仓及可用数量，支持质押、冻结、交易可用量管理，确保交易顺利执行并提高资产利用效率。实时收益与业绩归因提供投资组合实时收益监控，并进行多维度业绩

1.知识中心、概念配置、关系配置、多数据源抽取、图谱探索、知识图谱血缘可视化。2.知识融合，融合多源异构知识，通过策略优化提升知识的一致性、准确性和可用性；知识推理，利用逻辑推理技术挖掘知识间的潜在关联，增强系统的语义理解和智能决策能力。3.RAG知识智能问答，构建基于大语言模型（LLM）与知识图谱