我是一名后端开发工程师，工作涉及的领域非常多， 包括底层的智能硬件软件开发， AI领域的后端开发，支付和资金领域的业务开发，BI和大数据领域的后端开发。 最近的一个项目是BI和大数据领域的后端开发以及架构设计。

整个BI产品要解决的问题是让每个人都能够用上BI工具， 核心策略是降低使用门槛。BI产品要辅助用户进行历史结构化的数据的分析，以便做出更好的决策。这里面有些直接通过写SQL就能解决，但是还有些是SQL解决不了的。 这就是高阶分析能力，这块要在智能洞察里面做。整个洞察里面要使用高阶能力，就涉及到一些比较前沿的领域。这里面的难点是构建通用的算法，以及如何在有限的时间内将算法结果返回。

这个领域用户最初的需求分为目的性洞察和宽泛性洞察，而宽泛性洞察包括storytelling。通用算法，按照目的，我们把我们的算子分为这样几类： 出众分析、异常检测、归因、相关性、趋势预测、分群分析等。 用户使用智能洞察、百分之八十的目的是从数据中寻找发生某件事情的原因， 通常也叫描述性数据分析。  第二阶段是预测性洞察阶段，我有一堆数据， 训练出一个模型， 给一个新的数据之后，结果应该是什么样的。这在机器学习领域分为回归和分类。当然这也有不用机器学习，而直接用概率去做的。第三个阶段是在一二阶段的基础上，给出未来调整的方案， 然后整个就形成了一个闭环。 整个过程有一些核心指标， 1. 图标展示的美观性；2. 支持的分析能力。

用到了一个模板方法模式支持快速接入新算子。storytelling能力抽象， 异常检测+归因。