HDFS

本项目搭建Hadoop分布式存储环境，搭配Spark框架实现离线文本词频统计。原始文本文件上传至HDFS分布式文件系统，使用PySpark编写业务逻辑，完成文本分割、单词提取、分组聚合，最终输出词频排序结果，并将统计结果回写保存至分布式存储。项目完整复现“分布式存储+离线计算”经典大数据架构。在实操

项目名称：项目三：基于头条巨量引擎，百度营销和阿里汇川爬虫软件架构：python3，cv2(open-cv)，muggle-ocr，pyppeteer项目描述：主要运用多进程和多协程通过opencv和muggle-ocr绕过滑动验证码以及复杂图片的验证，实现自动化入库投放渠道信息，通过spark和p

项目名称：项目一：开发大数据平台，基于大数据平台做用户画像软件架构：flink,hadoop,spark,presto,java,python3,mapreduce,shell,kafka,sklearn,doplinscheduler项目描述：每天从百度上百亿数据刻画用户画像来提高用户续费率。责任