基于用户群体行为分析的.ppt

基于用户群体行为分析的搜索引擎自动性能评价提纲?研究背景?信息检索系统的评价方法?基于用户行为分析的搜索引擎性能评价?演示系统:搜索仪?结论与未来工作研究背景? Web 的发展带来了什么? –信息量的急剧增长? 1994 年,面向个人用户的浏览服务诞生? 2002 年, Web 上所存储的数据超过 500,000 TB –知识的获取空前简单与繁荣?“在信息化时代, 知识实际上已经不是资源,智慧才是资源。”–从 Web 中有效的获取知识成为人们的必需技能?高科技企业员工 1/3 的时间用于查找资料研究背景?网络信息检索工具成为人们生活和工作中的重要信息获取手段–全球范围内 84% 的互联网用户使用搜索引擎, 其中超过一半的人几乎每天使用。– 2007 年1月,我国网民总人数为 13700 万人。– 95% 以上的中国网民使用过搜索引擎, % 的用户将搜索引擎作为得知新网站的主要途径。–商用搜索引擎竞争日趋激烈。研究背景?性能评价对搜索引擎的重要作用–对搜索引擎用户而言: ?挑选最有利于获取信息的手段–对搜索引擎工程师而言: ?算法及数据处理方式有效性的判断–对搜索引擎广告商而言: ?挑选最有效的广告投放手段研究背景?搜索引擎评价的考察方式–搜索引擎作为网络服务供应商的属性?形式:用户问卷调查?举例: CNNIC 中国搜索引擎市场调查报告–搜索引擎作为网络信息检索工具的属性?形式:传统的信息检索评价方法在网络环境中的应用。?举例: TREC VLC/Web/Terabyte track , SEWM 评测等作为信息检索研究人员,我们的考察重点提纲?研究背景?信息检索系统的评价方法?基于用户行为分析的搜索引擎性能评价?演示系统:搜索仪?结论与未来工作信息检索系统的评价方法?评价在信息检索研究中发挥着重要的作用–评价在信息检索系统的研发中一直处于核心的地位,以致于算法与其效果评价方式是合二为一的( Saracevic , SIGIR 1995 ) ?信息检索系统评价的起源– Kent 等人第一次提出了关于 Precision 和 Recall (开始称为 relevance )的概念( Kent, 1955 ) 信息检索系统的评价方法?信息检索系统评价的起源(续) – Cranfield -like evaluation methodology ? Cranfield 在上世纪伍十年代末到六十年代初提出了基于查询样例集、标准答案集和语料库的评测方案, 被称为 IR评价的“ grand-daddy ”?确立了评价在信息检索研究中的核心地位– Gerard Salton 与 SMART 系统– Sparck -Jones 的著作“ Information retrieval experiment ”?在线: /projects/irlib/ 信息检索系统的评价方法?网络信息检索系统效果评价的现状–数据对象繁杂,标注困难? Voorhees 估计,对一个规模为 800 万的文档集合进行针对 1个查询主题的相关性评判需要耗费 1名标注人员9个月的工作时间? TREC 提出 pooling 方法,在保证评价结果可靠性的基础上大大减少了评判工作量?缺点:处理的查询数目少,针对小规模的查询集合, 仍需要耗费十余名标注人员 1-2 个月的工作时间–提高搜索引擎评价方法的自动化程度势在必行