大数据项目

1 、项目背景 ：对全国3700万家中小企业进行信用评级 ，整个系统由 ：数据采集 、数据治理 ，数据同步 ，运维监控 、信用评 估 ，信用预警等20个子系统组成；
2 、 项目金额 ：3700万
3 、 项目团队 ：应用系统团队 、大数据团队 、模型团队 、算法团队等共80人；
4 、 项目周期 ：一年
业绩：
1、每天爬取、治理约200G增量数据；
2、 数据源多达200个，数据类型复杂，数据量大，一年数据总量达100T；
3 、 团队规模大 ， 团队类型复杂 ，协调及调度工作十分困难；
4、 涉及 python、java、c等多语言，多个技术团队，架构复杂；