1/54
文档分类:IT计算机

关于搜索引擎的中文分词与页面排序的研究.pdf


下载后只包含 1 个 PDF 格式的文档,没有任何的图纸或源代码,查看文件列表

特别说明:文档预览什么样,下载就是什么样。

下载所得到的文件列表
关于搜索引擎的中文分词与页面排序的研究.pdf
文档介绍:
中 文 摘 要
随着互联网的发展,人们对信息的需求越来越大,但是在浩瀚的互联网信息上
面又快又准找到自己需要的信息,就不是一件容易的事,这样必须借助搜索引擎工
具了。用户通过搜索引擎可以在众多的信息中很快的找到自己的信息。一个好的搜
索引擎才能又快又准的找到用户的信息。
影响搜索引擎的搜索效率主要有两个方面:一个是分词的效率问题,一个是搜
索返回页面的排序问题。本文从搜索流程的分词和页面排序出发,由于中文分词比
较复杂,鉴于正向最大分词算法和逆向最大分词算法各自的优缺点,提出基于正向
最大和逆向最大匹配的双向匹配算法,双向匹配算法在一定程度提高分词的准确性。
页面排序也是影响用户搜索效率的一个重要因素,而网页相关度和网页的链接都是
直接影响网页权值的重要因素,所以本文提出一种基于网页相关性的 PageRank 算
法。新的页面排序算法既防治了页面漂移的可能性,也防治了全部依赖网页相关性
的排序结果。
本文设计一个具有搜索功能的留言板,用户注册后可以留言,回复留言,其中
最重要的是搜索自己感兴趣的留言功能,用户输入关键字,可以搜到自己感兴趣的
留言记录。该系统整体采用 SSH 架构,搜索这块采用 Lucene 框架,其中利用 Lucene
分词器分词,利用本论文提出的页面排序算法来对搜索结果的页面进行排序。本论
文实验结果验证了本文提出的页面排序算法的优越性。还分析了基于正向最大和逆
向最大匹配的双向匹配分词在一定程度上加强了分词的准确率,但是由于中文情况
比较复杂,有些歧义词句双向匹配也不能准确的切分出它们。有些句子必须依赖语
义分词才能分词准确,但是语义分词实现过程复杂,困难。

关键词:正向最大匹配;逆向最大匹配;PageRank VSM
ii
ABSTRACT
With the development of the Internet, the demand for information is
increasing, but in the vastness of the Internet information above to quickly
and accurately find the information they need, then it is not an easy thing to
do, so we have to rely on search engine tools. User through the search
engines can quickly find the information in the chaotic. But a good search
engine which can find fast and accurately user information.
Search engine search efficiency mainly rely on two aspects, one is the
efficiency of the word, the other search return page sort. This article
researchs the segmentation and page sort of search process two aspects.The
view of the advantages and disadvantages of forward maximum
segmentation algorithm and reverse maximum segmentation algorithm, due
to relatively complex of the chinese word segmentation , this article first
proposes the forward largest and reverse the biggest match of the two-way
matching algorithm, two-way matching improve the accuracy of the
segmentation algorithm to some extent. Page sorting is an important fact
内容来自淘豆网www.taodocs.com转载请标明出处.
相关文档
非法内容举报中心
文档信息
  • 页数54
  • 收藏数0 收藏
  • 顶次数0
  • 上传人zhufutaobao
  • 文件大小1.07 MB
  • 时间2021-11-08