华为商城在2017年销售进入高峰，运营团队需要对消费者用户进行用户画像，用于识别用户的喜好舆情信息进行分析，同时对用户习惯进行广告推广，同时对双11期间黄牛风控，我就做了两个项目。用户行为数据抓取:华为商城 APP 、华为商城 PC版，第1次版本用的是谷歌的埋点，用户行为数据都在谷歌数据库，所以得先有谷歌数据分析师的资格账号，通过 API 接口获取所有用户行为数据，包括用户账号，M号，手机号，男女，点击时间点击产品，产品的路由，停留的时间，使用的浏览器，使用的硬件等等。通过这些数据抓取之后写入 hive 数据表，并且作为原始数据分类分区，在用 SQL 脚本清洗以后写入 oracle 数据库。华为商城第2版是自己的埋点，数据通过卡夫卡写入消息队列，后端消费数据到 hive ，要做到数据兼容v1版本。这个过程衍生出两个小产品:一个是用户行为，点击产品热力图，通过插件方式在 APP 端展示用户点击的最热产品，运维人员可以实时的看到效果。第2个产品是防黄牛封控系统数据，通过 API 端口数据流的分析，可以知道用户的点击频率。把超过阈值的频率的账号，我们会收集起来给运维分析。项目主要技术内容日志采集（Flume+kafka）日志入库（Flink+HDFS）数据清洗（scope+hive）