1.项目分为canal数据监听服务,离线计算服务和api接口服务,实现了龙虎榜获取上榜总览统计,热门概念与行业,个股龙虎榜热门个股榜单,营业部列表,机构买卖,股票页个股龙虎榜详情,股票页上榜后表现,营业部统计
2.canal数据监听服务采用springboot+canal+kafka实现数据的实时监听及数据变动后的通知服务,采用这种方式监听数据,通知离线计算服务进行龙虎榜相关功能的数据计算;离线计算服务采用springboot+kafka+redis,当数据库binlog发生变化时,通过接收的结果查取对应的数据进行数据加工并存到redis;api服务采用springboot+redis,该服务查询redis对数据进行反序列化,加工成app想要的数据结构进行返回
3.监听的数据库,表数据量比较大,而表是数据提供商提供,有些不明确有些有问题需要一一排查沟通,才能使用,canal在binlog损坏后位点定位不到 导致canal监听失败的处理问题
点击空白处退出提示












评论