1、项目包含数据采集、数据开发、数据治理、数据保障、数据呈现等几个环节
1)数据采集包含内部系统比如:erp、分销;外部数据:各个苏宁、天猫后端数据爬取获得
2)数据开发采用标准4层结构ODS>DWD>DWS>ADS
3)数据治理包含表名称、元数据、字段规范
2、所用到技术及语言包含ETL(Kettle)、Python、Java、Hive、Dataworks、Maxcomputer、OSS、elasticsearch等
点击空白处退出提示
1、项目包含数据采集、数据开发、数据治理、数据保障、数据呈现等几个环节
1)数据采集包含内部系统比如:erp、分销;外部数据:各个苏宁、天猫后端数据爬取获得
2)数据开发采用标准4层结构ODS>DWD>DWS>ADS
3)数据治理包含表名称、元数据、字段规范
2、所用到技术及语言包含ETL(Kettle)、Python、Java、Hive、Dataworks、Maxcomputer、OSS、elasticsearch等
评论