网络流量数据分析系统

1、项目主要包括实时流量数据处理和历史流量数据处理两个大的部分，实时流量数据又涵盖上下行流量监控、关键服务器行为监控、基于规则的异常检测等模块，历史流量数据处理涵盖用户画像、用户群像、代理流量检测等模块。面向用户来说，系统可以以可视化的形式向用户展示所在网络环境的基本概况，包括出口流量大小、在线人数、web网站信息、dns服务器信息、邮件服务器信息、实时的安全事件等，对整个网络的基本情况有一个清晰的认知。
2、个人负责采用Spark框架对接Spark streaming以及HDFS实现流量数据解析、流量数据分析、数据库写入等功能，具体实现了关键服务器行为监控、用户画像、代理流量检测、用户违规登录行为检测等功能模块。同时采用Django框架和Echarts实现了前端的可视化。
3、项目难点主要在于大数据处理的数据倾斜问题、分布式读取写入问题等。