Mongo

分为数据中心,内部系统,外部系统; 数据中心包括数据采集系统,数据处理系统,数据分发与应用系统; 内部系统包括收款系统,客户管理系统,员工管理系统,办公自动化系统,培训系统; 外部系统包括企业官网,小程序,H5等多端入口,实现会员注册,下单,进行服务,管理已有数据等功能;

服务内容： 1.根据用户需求对各个领域的公开数据进行爬取，支持定时爬取，定时更新，监控更新等和数据源更新频率绑定的功能 2.几乎覆盖国内外所有的公开平台，对于平台特有的反爬机制都有攻克处理手段 3.对爬取到的数据支持各种数据库或Excel存储，并且也支持对收集到的数据进行数据分析和可视化展示

1、项目针对数据分析中数据清洗、特征提取、统计分析常用的计算方法进行了固化，面向分析人员以规则化的语法形式实现快速的数据分析和结果输出，使用户拜托了定制化、重复性的代码开发工作。 2、在本项目中，个人首先完成了规则化语法以及算子的设计，同时采用akka框架实现了分布式多线程的并行计算，达到了单台128GB服务器实现10Gbps流量数据处理的效率。 3、本项目中的难点在于规则的设计；并行化效率。