天矶大数据

项目描述：
该项目用于对往年的招投标信息处理并进行统计分析的一个大数据平台，主要模块中标标讯管理，数据看板，图谱画像。项目主要又两大部分组成。数据清洗与图谱画像分析，数据清洗分为初、中、高三个层次，由初级库做原始全量数据的落库，中级库做脏数据清洗与整理，高级库结合爬虫与python模型库处理回调整合信息，最终落库至标讯库与商机库。图谱画像分析会从业务库与商机库提取信息进行汇总统计，讲数据呈现至前端，供客户使用。
负责内容：
主要负责数据清洗开发与维护，并完成绝大部分图谱画像模块，数据看板中数据概览，公开市场数据分析，商机等模块的开发。
使用技术栈：
spring boot、mybatis、mysql、redis、elasticsearch、clickhouse、kafka、canal ...