Splunk 技术白皮书.doc

--技术白皮书
2009年7月
目录
一、Splunk产生的背景 3
二、目前IT数据整合的需求 3
、IT设备的数据整合需求 3
、主机系统和数据库的数据整合需求 4
、各种业务系统的数据整合需求 4
、应用程序的数据整合需求 5
、IT数据的法规遵从 6
三、Splunk介绍 6
四、Splunk的四大应用 7
、运维IT数据整合 7
、IT安全信息及数据的整合 9
、应用程序IT数据整合 10
、IT数据的法规遵从 11
五、Splunk的六大神奇功能 13
、Index(索引) 13
、Search(搜索) 13
、Alert(警报通知) 14
、Report(报告) 14
、Share(资源共享) 15
、Secure(安全功能) 15
六、Splunk技术参数 16
、Index –索引 16
、Search –搜索 17
、Alert -- 事件警告 17
、Report –报告 17
、Share –分权管理 17
、Scale –扩充与能力 17
、Secure –安全架构 18
一、Splunk产生的背景
计算机技术、网络技术、信息技术已经成为各个组织和机构建设中必不可少的组成部分,甚至相当一部分组织和机构把信息化建设看成组织和机构建设的重中之重。因为互联网,信息化都给组织和机构带来了海量的,即时的各种信息,但是不是所有信息是有用的,因此很多组织和机构为了有效的管理这些海量的信息,并使之成为组织和机构有用的信息,现在都在进行IT数据整合的项目,也就通常大家都提到过的数据大集中。
同时,随着信息架构与应用系统日渐庞大,现行IT架构中,早已不是单一系统或是单一设备的单纯环境,组织中往往使用许多不同的 Log Management 对应不同系统、设备与应用的需求,然而除了成本扩张外,每年的维护与人力资源的投资,都是一笔可观的费用成本,既使组织可以暂时获得单一事件或需求上的满足,对于结合异质系统、平台的问题上,却又需要花费大量的人力时间,对于问题解决的时间花费与异质平台问题查找,都无法有效管理与降低成本。
因此在数据大集中背景下,如何使组织和机构的IT数据进行整合,管理,维护,分析并使之再生效益。那就是使用目前大家都耳熟能详的一种技术-----搜索。
二、目前IT数据整合的需求
、IT设备的数据整合需求
随着组织和机构信息化建设的规模越来越大,购买的各种设备也越来越多,各种类型的设备不一而足,即便是同一种类型的设备都可以分为好几种品牌。例如基础网络建设中,需要采用,路由器,交换机,接入链路等,而路由器又有思科,华为,Juniper等品牌;而安全和应用层IT建设中,组织和机构会需要防火墙,负载均衡器,代理网关或入侵防御等设备,而光负载均衡器市场就有Radware,F5,Array等6,7个品牌。
因此当一个中大型组织和机构面对如此众多但又比不可少的IT设备时,对于
IT的网管人员管理的难度是可想而知,他们迫切需要一个综合的数据平台,能够统一查看这些设备的状态,而不需要每天都都到设备上登录一次;需要一个能当这些设备出问题时,快速定位出问题所在的机制;需要一个能快速生成报表,并且能够整合多台设备数据生产报表的系统。
、主机系统和数据库的数据整合需求
同上述IT设备来说,服务器和数据库的数据管理也是大同小异,甚至比这些设备的数据更难管理。对于网管人员同样会遇到大量服务器,而这些服务的数量甚至远远超过了IT设备的数量,因此每日查看这些服务器的状态,查找是否有服务器出现问题,并对出问题的服务器进行人工的日志分析,并需要定时为这些服务手工生成报表,都为网管人员的工作带来大量低技术含量并重复率极高的内容,使网管工作经常性陷入一种无意义的瞎忙状态中。
对于数据库管理员来说,组织和机构里数据库可能没有服务器那么多,但是其管理工作的难道也非常高,因为数据库里的信息是组织和机构最重要的信息,其需要安全程度可想而知,但是由于数据库必须要接受各种类型的人物来访问,因此数据库管理人员对于这些访问信息非常关注,比如每天都有什么人来访过,有多人被拒绝了,都什么时间段来访问的,访问的过程中都执行了什么命令,这些访问都使用了什么IP地址,发生了多少次数,数据库的某些关键信息是否有被改动的记录等等。而这些信息都不是数据本身能够提供,需要耗费数据库管理员大量的时间才能统计出来,有的甚至无法统计,因此数据库的数据管理也是大型组织和机构亟待解决的问题。
、各种业务系统的数据整合需求
组织和机构为了信息化建设,将会开发各种