1.相关技术:Go + Beego + MySQL + MongoDB + ClickHouse + ElasticSearch + HBase + Hive + RabbitMQ
2.数据来源通过爬虫采集微博、B站、抖音、虎牙……等数据,通过Hive清洗、处理和计算原始数据,存至HBase、 Mongdb、ClickHouse、Elasticsearch 。
3.通过联合查询MySQL、Mongdb、ClickHouse、Elasticsearch数据库,完成数据加工处理为企鹅风迅后台提供数据支持 。
4.预警推送采用RabbitMQ广播方式加WebSocket通知前端,实现实时质量、关键词预警。
5.设计数据库表结构,完成企鹅风迅权限管理、日志管理等相关功能开发工作 使用Serverless应用CI/CD工作流,完成项目自动化测试和自动化部署 。
6.通过编写Python脚本完成数据库导入导出,为API人员提供数据来源