网络知识挖掘在数字参考咨询中的实现.doc

1 网络知识挖掘在数字参考咨询中的实现【内容提要】文章着重阐述了网络知识挖掘产生的背景及其概念、技术, 探讨了网络知识挖掘在数字参考咨询服务中的应用。【摘要题】信息需求与服务【关键词】数字参考咨询/ 数据挖掘/ 网络知识挖掘【正文】 1 网络知识挖掘产生的背景及其概念、技术对知识挖掘的设想始于 20 世纪 80 年代末。当时出现了从源数据中发掘新信息模式及算法, 被称为数据中的知识发现( Knowledge Discovery in Database , KDD ) 。这种想法的出现是由于此前的信息或知识数据库存在着种种局限, 限制了对数据库中蕴涵知识的有效利用[1] 。知识发现被认为是今后具有重要影响和应用前景的关键技术。知识发现( knowledge discovery )也称数据挖掘( data mining ) ,源自人工智能的机器学****领域,是在一个已知状态的数据集 2 上, 通过设定一定的学****算法, 从数据中获取所需的知识[2] 。数据挖掘广泛应用于数据仓库和分布式数据库中, 根据数据间的相互关系进行数据分析,提取潜在有用的信息和知识, 经挖掘后被发现的知识可用于信息管理、查询优化、科学研究、决策支持、过程控制等。现有的数据挖掘工具有: Model Quest Miner 、 Knowledge Seeker 、 Business Miner 、 Anser Tree 等几十种。数据挖掘是网络知识挖掘的基础。网络知识挖掘是指利用数据挖掘技术, 自动地从由异构数据组成的网络文档中发现和抽取知识, 从概念及相关因素的延伸比较上找出用户需要的深层次知识的过程[3] 。网络知识挖掘可分为网络内容挖掘( Web Content Mining ) 、网络结构挖掘( Web Construct Mining ) 、网络使用挖掘( Web Usage Mining )。一般而言, 网络知识挖掘的发现技术主要包括以下几个方面。 路径分析可以用许多曲线图解法来进行路径分析,一个曲线代表了 Web 页面间或者其他事物之间的一些联系。 关联规则关联规则用于发现数据项之间的联系,在网络挖掘中就是发现某一顾客的引用页面和服务器上多种页面之间的联系。 序列模式应用序列模式是为了发现一些交互模式,如在一时间段内 3 某一数据项后面跟着另一个数据项。在服务器日志文件中, 记录了一段时间内客户的访问信息,对 Web 服务器中访问日志的序列模型分析可以使用企业预测用户访问模式, 帮助广告进行目标定位, 发现在一个时间段内访问某一文件的所有客户的相同特征等。 聚类和分类根据一些数据项的共同特征来对数据库进行分类。在网络挖掘中, 分类技术可以基于用户的一些人口统计信息和访问模式对访问某文档的用户进行偏好描述。聚类分析可以将有相似特征的用户或者数据聚集在一起, 聚类 Web 日志的用户信息和数据可用来制定未来市场营销策略[4] 。 2 网络知识挖掘与数字参考咨询知识库的建立数字参考咨询的概念起源于 20 世纪 80 年代的美国,早期的电子邮件咨询服务起源于 1984 年的华盛顿大学健康科学图书馆和马里兰—巴尔迪摩大学健康图书馆[5] 。在美国, 图书馆界对数字图书馆的发展存在两种看法, 其中一种把图书馆看作是一个在图书馆员的协助下为广大用户提供智能服务的透明的知识网络。数字参考台就是根据这种意见建立起来的对话式的智能服务系统[6] 。数字参考咨询是伴随着数字图书馆的研究和实践热潮出现的又一大热点, 也是网络 4 环境下图书馆参考咨询服务的主流发展方向。利用网络知识挖掘技术, 可以了解用户访问图书馆的目的和趋势, 了解用户的兴趣和需求,改进服务质量,变被动服务为主动服务, 提高数字参考咨询服务的效率。数字化信息资源是数字参考咨询的物质基础,它由各类知识库构成。数字参考咨询是从积累知识库到进行知识服务, 可以在面对面与用户沟通中判断用户的实际需求, 由此来加深知识服务层面的深度和广度。知识库的建设直接影响到数字参考咨询服务。可想而知, 如果没有知识库或知识库内容非常少, 仅凭咨询员个人的知识经验很难满足不同用户的各类需求。网络在提供丰富资源的同时, 也给查找和获取有效信息带来了难度。传统的数据挖掘涉及的主要是结构化及半结构化的数据库, 而网上的信息变化频繁且具动态性, 是一个巨大而又复杂的异构型数据库, 对网上的信息进行挖掘要比面向单个数据库复杂得多。数字资源的多元性和分散性, 使数字化信息的知识化挖掘和链接成为信息服务所面临的前沿挑战。因此, 对数据的进一步加工和内容分析显得越来越重要。在这样的背景下, 网络知识挖掘的新技术应运而生。网络知识挖掘的类型可分为对网络知识的挖掘和对用户知识的挖掘。对网络知识的挖掘主要是指通过对网络信息