该项目主要分为Web部份和数据处理两个部份,Web主要进行筛选条件的输入,查询出需要的数据并导出到csv文件中。数据处理部份使用MapReduce处理数据,Hbase存储所有数据,通过对属性列值建二级索引实现根据条件的查询,同时,每天定时更新Hbase表中的数据,主要包含画像数据、航旅数据、收支数据、社交数据、多次申请相关数据。
评论