背景：原有搜索离线流使用的神马提供的基础服务（流计算平台、批处理、KV存储）；不再升级，问题多（性能低、编译问题、中间件不支持等）；整体架构迁移bink+odps 实现：存储选型table-store，流计算选blink（支持流批一体），聚合计算odps；重构常用插件，对业务复杂的c++插件，使用jna方式调用；词典依赖多内存大的插件，去sm化单独部署提供http服务；老的流程双写（写sm-db、table-store）、核心流程迁移、数据diff、上线流程
点击空白处退出提示
背景：原有搜索离线流使用的神马提供的基础服务（流计算平台、批处理、KV存储）；不再升级，问题多（性能低、编译问题、中间件不支持等）；整体架构迁移bink+odps 实现：存储选型table-store，流计算选blink（支持流批一体），聚合计算odps；重构常用插件，对业务复杂的c++插件，使用jna方式调用；词典依赖多内存大的插件，去sm化单独部署提供http服务；老的流程双写（写sm-db、table-store）、核心流程迁移、数据diff、上线流程
评论