利用Storm系统处理实时大数据.docx

***利用Storm系统处理实时大数据Hadoop(大数据分析领域无可争辩的王者)专注于批处理。这种模型对许多情形(比如为网页建立索引)已经足够,但还存在其他一些使用模型,它们需要来自高度动态的来源的实时信息。为了解决这个问题,就得借助NathanMarz推出的Storm(现在在***中称为BackType)。Storm不处理静态数据,但它处理预计会连续的流数据。考虑到***(tweet),那么就很容易看到此技术的巨大用途。但Storm不只是一个传统的大数据分析系统:它是复杂事件处理(CEP)系统的一个示例。CEP系统通常分类为计算和面向检测,其中每个系统都可通过用户定义的算法在Storm中实现。举例而言,CEP可用于识别事件洪流中有意义的事件,然后实时地处理这些事件。NathanMarz提供了在***中使用Storm的大量示例。一个最有趣的示例是生成趋势信息。***从海量的推文中提取所浮现的趋势,并在本地和国家级别维护它们。这意味着当一个案例开始浮现时,***的趋势主题算法就会实时识别该主题。这种实时算法在Storm中实现为***数据的一种连续分析。Storm与传统的大数据Storm与其他大数据解决方案的不同之处在于它的处理方式。Hadoop在本质上是一个批处理系统。数据被引入Hadoop文件系统(HDFS)并分发到各个节点进行处理。当处理完成时,结果数据返回到HDFS供始发者使用。Storm支持创建拓扑结构来转换没有终点的数据流。不同于Hadoop作业,这些转换从不停止,它们会持续处理到达的数据。大数据实现Hadoop的核心是使用Java?语言编写的,但支持使用各种语言编写的数据分析应用程序。最新的应用程序的实现采用了更加深奥的路线,以充分利用现代语言和它们的特性。例如,位于伯克利的加利福尼亚大学(UC)的Spark是使用Scala语言实现的,而***Storm是使用Clojure(发音同closure)语言实现的。Clojure是Lisp语言的一种现代方言。类似于Lisp,Clojure支持一种功能性编程风格,但Clojure还引入了一些特性来简化多线程编程(一种对创建Storm很有用的特性)。Clojure是一种基于虚拟机(VM)的语言,在Java虚拟机上运行。但是,尽管Storm是使用Clojure语言开发的,您仍然可以在Storm中使用几乎任何语言编写应用程序。所需的只是一个连接到Storm的架构的适配器。已存在针对Scala、JRuby、Perl和PHP的适配器,但是还有支持流式传输到Storm拓扑结构中的结构化查询语言适配器。Storm的关键属性Storm实现的一些特征决定了它的性能和可靠性的。Storm使用ZeroMQ传送消息,这就消除了中间的排队过程,使得消息能够直接在任务自身之间流动。在消息的背后,是一种用于序列化和反序列化Storm的原语类型的自动化且高效的机制。Storm的一个最有趣的地方是它注重容错和管理。Storm实现了有保障的消息处理,所以每个元组都会通过该拓扑结构进行全面处理;如果发现一个元组还未处理,它会自动从喷嘴处重放。Storm还实现了任务级的故障检测,在一个任务发生故障时,消息会自动重新分配以快速重新开始处理。Storm