爬取财经网站的财经、经济等栏目的新闻数据, 对爬取的数据进行NLP处理,抽取出相关事件,包括事件类型和事件实体,比如公司, 人名,地名。
● 使用selenium , requests, xpath 爬取数据
● 爬取的数据存入 elasticsearch, mysql
● 使用 flask, uwsgi, nginx, mysql开发事件服务api
● 所有服务使用 swarm部署, 每个node上启动多个容器
● 配合大数据开发工程师在渤海银行的系统中部署事件引擎服务
点击空白处退出提示
评论