xx知识服务平台

1.负责多个模块开发，包含了政策、新闻、论文、专利模块开发。
2.数据获取，利用爬虫在互联网上获取相关政策、新闻、论文、专利，达到TB级别。
3.数据存储，搭建Hadoop环境、es环境，用来存储平台数据，利用ETL工具进行数据的清洗、格式化统一等。
4.根据项目需求，完成上述多个模块的定制接口呈现。
5.数据库调优。