使用微信公众号及微信群(RPA无侵入方案)作为媒介,打通舆情大数据系统基础功能并利用微信平台的强社交属性为用户提供易接收、可共享、易传播的实时舆情监测推送服务。
由于推送业务需要保证时效性,大数据量(每日500万)且涉及复杂的数据打标及数据清洗过滤,自推出后多次进行性能上的升级优化,甚至进行数据架构上的重构。作为项目的核心成员,这个过程对自己来说虽然具备不小的挑战性,但同时也让自己在应对海量数据处理方面有了更深刻的理解及经验。
项目涉及技术:Kafka、Flink、SpringBoot、Mysql、Redis、ElasticSearch、RPA
点击空白处退出提示
评论