WIFI行为系统

我要开发同款
Are追风2021年07月18日
220阅读

作品详情

[1] 开发时间:2020.02[2] 项目描述:客户端在特定WIFI下进行互联网使用,并对该客户端的QQ操作、微信操作、邮箱操作、搜索记录、个人信息和GPS进行信息采集。可以应用于网络安全和公安定位嫌疑人等方面提供信息;[3] 职责描述:负责CentOS环境的CDH部署,及WebUI操作的组件安装、数据采集、采集处理、Sink数据库和对外提供查询服务;[4] 技术架构:Flume+Kafka+SparkStreaming+ElasticSearch+HBase+Redis+MySQL+Hive+SpringCloud; [5] 原始数据:wechat_sourceid_uuid、qq_sourceid_uuid、mail和search的txt文件名;[6] 技术实现: ▪信息采集:Flume对WIFI采集器的数据进行间接采集,在实时推送至Kafka集群; ▪信息缓冲:Kafka作为流数据缓存,接受Flume推送请求,并将数据再次推送于SparkStream处理系统;▪查询服务:SparkStream处理qq、email、微信和搜索记录写入至ES;▪犯人追踪:MySQL存储嫌疑人身份信息,并将其关键字段数据同步于Redis,结合SparkStream处理数据和Redis匹配,匹配成功将嫌疑人信息和GPS位置保存至MySQL。公安收到黑名单信息即可报警,进行抓捕;▪分析服务:SparkStream处理qq、email、wechat和搜索记录写至hdfs, 及文件合并. 在关联Hive进行离线分析;▪数据关联:SparkStream处理qq、email、wechat和搜索记录进行关联处理,在写入至HBase;▪查询接口:使用SpringCloud对外提供HBase的数据查询接口;[7] 项目经历: ▪报错结果:Themainclasscannotbefoundorcannotbeloaded; ▪错误分析:在打JAR上传集群时,执行出现异常。本人在通过更换其它PC端重新打JAR上传集群时却执行成功,无报错异常。经测试得出是本地PC端环境不兼容问题; ▪解决方法:通过大量测试,最终更换Pom.xml里的打JAR依赖的方式,主要添加Scala打JAR编译要使用的类库和scala打JAR插件,成功兼容了本地PC环境;
查看全文
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论