项目介绍:项目基于Linux平台开发。当用户输入关键字后,系统后台在网页库中检索与关键字相关性最高的若网页信息并返回给用户,实现网页搜索功能。
技术要点
(1)Reactor 与 Threadpool 结合的并发服务器模型,减少多线程间切换开销、响应时间。
(2)实现最小编辑距离算法计算候选词与查询词的相似度,按照相似度、词频、字母表优先级返回若干候选词。
(3)建立网页库和网页偏移库,建立倒排索引,并生成网页去重之后的网页库和网页偏移库;
(4)处理查询请求,对于查询的关键词,通过 TF-IDF 算法计算出每个关键词的权重系数,结合倒排索引库返回查询结果;