基于hadoop的百度推荐与个性化海量数据监控系统产品系统

我是2013年在百度北京总部做研发，当时在百度的推荐与个性化部。该部门主要做百度推荐引擎，内容推荐的算法等。我负责研发的这个产品对百度内容推荐后，用户的点击、浏览等访问数据做统计、分析、监控报警等，减少了大量的人工统计、分析等工作。

用户的访问量巨大，当时采用的是hadoop存储和计算，然后将统计后的数据指标存储进mysql，然后基于python研发数据分析、监控的逻辑，能设置各指标的阈值，能提供自动短信或者邮箱报警提醒等功能。

当时我一个人负责这个产品v1.0的研发。百度是国内最早做机器学习、个性化推荐的公司。这个项目最大的亮点是实现了对海量数据的存储、分析和有效监控。