1.相关技术：Go + Beego + MySQL + MongoDB + ClickHouse + ElasticSearch + HBase + Hive + RabbitMQ2.数据来源通过爬虫采集微博、B站、抖音、虎牙……等数据，通过Hive清洗、处理和计算原始数据，存至HBase、 Mongdb、ClickHouse、Elasticsearch 。3.通过联合查询MySQL、Mongdb、ClickHouse、Elasticsearch数据库，完成数据加工处理为企鹅风迅后台提供数据支持 。4.预警推送采用RabbitMQ广播方式加WebSocket通知前端，实现实时质量、关键词预警。5.设计数据库表结构，完成企鹅风迅权限管理、日志管理等相关功能开发工作 使用Serverless应用CI/CD工作流，完成项目自动化测试和自动化部署 。6.通过编写Python脚本完成数据库导入导出，为API人员提供数据来源查看全文
声明：本文仅代表作者观点，不代表本站立场。如果侵犯到您的合法权益，请联系我们删除侵权资源！如果遇到资源链接失效，请您通过评论或工单的方式通知管理员。未经允许，不得转载，本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论