建立on-prem数据分析中台,用Spark处理海量数据分析,用SQL server存储高质量数据,利用kubernetes进行资源调度管理
点击空白处退出提示
建立on-prem数据分析中台,用Spark处理海量数据分析,用SQL server存储高质量数据,利用kubernetes进行资源调度管理
1.给数据科学家动态调用计算资源运行他们的数据分析notebook。
2. 创建spark和sql server的connector帮助数据科学家把数据分析结果存储到SQL server
我设计了整个系统基于kubernetes,在上面部署了动态的SQL pool和Spark Pool



评论