1.统一对新闻爬虫抓取下来的新闻网站进行分析、生成JavaScript脚本文件、针对不同的网站制定专属个性化采集方案、避免抓取内容出现不准确、抓取信息不规范的问题。2.权限控制3.数据处理定时扫描器开发，针对不同级别的网站进行不同批次的处理。
评论