主要用海量新闻网站的数据解析。
采集逻辑是列表页->详情页,这需要人工来配置解析规则。
该项目实现了列表页与新闻页的通用解析算法
点击空白处退出提示
主要用海量新闻网站的数据解析。
采集逻辑是列表页->详情页,这需要人工来配置解析规则。
该项目实现了列表页与新闻页的通用解析算法
详情页的文章解析算法,借鉴了多个开源项目。
列表页纯自研,利用多维评分机制,主要维度有:
按照链接密度,
标题特征,
节点相似性,
热区聚类,
扩散边界,
url结构相似度。
都我自己实现的!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

评论