数据中台产品系统

数据中台的核心意义在于打破 “数据孤岛”，为系统各模块提供统一、高质量的数据支撑，同时赋能企业从 “项目管控” 向 “数据驱动决策” 升级。简单来说，数据中台让项目管理系统从 “被动记录业务” 的工具，升级为 “主动赋能决策” 的大脑。如果需要，我可以进一步结合具体行业（如软件开发、工程建设），梳理数据中台的落地路径，或提供 “项目管理系统 + 数据中台” 的集成架构设计思路。

1、一个是装配式构件大数据平台,主要围绕构件订单、原料采购，构件生产，运输、仓储、吊装以及项目管理环节涉及的数据，通过大数据分析，计算出需求的指标, 使用superset将数据可视化，为公司运营科学决策提供准确的数据依据。
2、与上纽大城市实验室合作，爬取twitter、微博等社交平台的数据，结合NLP和数据算法，实现城市相关的科学研究任务。

责任描述：
1、架构选型，大数据平台搭建，维护及优化。
2、参与评审系统的业务架构和需求，从技术的角度给出产品需求的合理建议。
3、配合上纽大客户，完成城市相关的科学研究任务。
4、利用Hive，Spark，Flink，Hadoop，Flume，Kafka，Hbase等技术框架进行离线和实时数据开发，对产品和业务提供数据支撑。
5、搭建了bert模型，根据客户需求对模型进行微调。
6、学习和研究大数据相关的最新的知识，为实现科技和实验室的需求做技术储备。
项目亮点：
1、根据制定的同步策略，通过配置flume，DataX脚本，将数据同步到数仓ods层以及将报表数据同步到clickhouse数据库。
2、搭建数据仓库ods，dwd，dws层，依据业务流程选择不同模型进行数仓数据模型的构建。
3、使用scrapy技术爬取twitter、微博等社交平台的数据。
4、使用python语言实现了基于google的bert模型，对社交数据进去筛选和情感分析。
5、针对客户的业务需求，只需要简单的配置，就可以通过superset生成报表进行查看，也可以嵌入到业务系统中使用。
6、基于Hadoop的Java API，对文件存储系统进行了页面的重构。