1、python scrapy 爬取近百个网站信息，及部分微信公众号百科等信息，包含文字图片视频等，使用pandas处理数据格式并汇总到MySQL，minio数据库中。2、数据挖掘，根据hanlp等分词方法获取新闻文本中的地理位置信息，根据特定算法进行坐标比对，为前端地图可视化提供数据。3、知识图谱构建。对文本信息进行词性标注，句式结构分析，摘要提取，抽取实体关系的知识spo三元组，汇总导入neo4j数据库中。可通过该图谱查询多个实体 词之间的关系，构建关系树。 4、文本分类。根据人工标注的文本数据分类，在经过一系列数据预处理后，首先排除不需要的新闻条目，再进行具体文本分类。使用fasttext方法以及pytorch技 术使用textcnn,lstm,注意力机制等模型进行模型训练，对文本进行分类。因文本来源网站复杂，分类人工标注主观因素，个别分类数据量小等影响，在去除垃圾数 据时预测集F1值可达97%，但是文本具体分类时，分类效果仅到92%。 5、以上所有环境的部署及本地部署等，主要使用docker技术。