某运营商互联网信息库建设需求，需要从海量上网日志中获取网站域名对应的网站名称与分类。并使用这些信息解析上网日志。互联网信息库建设流程，使用mapreduce程序对上网日志进行复杂的解析工作，数据仓库主要使用hive 进行域名沉淀，各个维度的数据表沉淀。使用爬虫辅助获取域名对应的网站信息（网站名称），根据已经标注的数据对为标注的陌生域名进行标注（及网站分类），主要使用词频统计与支持向量机，形成半监督的学习模式。