Storm实时数据处理.pdf.pdf

大数据技术丛书 Storm 实时数据处理 Storm Real-Time Processing Cookbook (澳) Quint on Anderson 著卢誉声译图书在版编目( CIP )数据 Storm 实时数据处理/(澳)安德森( Anderson , Q.)著;卢誉声译. —北京:***出版社, (大数据技术丛书) 书名原文: Storm Real-Time Processing Cookbook ISBN 978-7-111-46663-5 I. S … II. ①安…②卢… III. 数据处理软件 IV. TP274 中国版本图书馆 CIP 数据核字( 2014 )第 103057 号本书版权登记号:图字: 01-2013-7570 Quinton Anderson: Storm Real-Time Processing Cookbook (ISBN: 978-1-78216-442-5). Copyright ? 2013 Packt Publishing. First published in the English language under the title “ Storm Real-Time Processing Cookbook ”. All rights reserved. Chinese simpli?ed language edition published by China Machine Press. Copyright ? 2014 by China Machine Press. 本书中文简体字版由 Packt Publishing 授权***出版社独家出版。未经出版者书面许可,不得以任何方式复制或抄袭本书内容。 Storm 实时数据处理[ 澳] Quinton Anderson 著出版发行:***出版社(北京市西城区百万庄大街 22 号邮政编码: 100037 ) 责任编辑:高婧雅责任校对:殷虹印 刷: 版 次: 2014 年 6 月第 1 版第 1 次印刷开 本: 186mm × 240mm 1/16 印 张: 书 号: ISBN 978-7-111-46663-5 定 价: 元凡购本书,如有缺页、倒页、脱页,由本社发行部调换客服热线:( 010 ) 88378991 88361066 投稿热线:( 010 ) 88379604 购书热线:( 010 ) 68326294 88379649 68995259 读者信箱: hzjsj@ 版权所有· 侵权必究封底无防伪标均为盗版本书法律顾问:北京大成律师事务所韩光/ 邹晓东译者序随着互联网业务数据规模的急剧增加,人们处理和使用数据的模式已然发生了天翻地覆的变化,传统的技术架构越来越无法适应当今海量数据处理的需求。 MapReduce 、 Hadoop 以及一些相关技术的出现使得我们能处理的数据量比以前要多得多,这类技术解决了我们面对海量数据时的措手不及,也在一定程度上缓解了传统技术架构过时的问题。但是,随着业务数据规模的爆炸式增长和对数据实时处理能力的需求越来越高,原本承载着海量数据处理任务的 Hadoop 在实时计算处理方面越发显得乏力。原因很简单,像 Hadoop 使用的 MapReduce 这样的数据处理技术,其设计初衷并不是为了满足实时计算的需求。那么就目前来说,有没有什么行之有效的办法能简单地将 Hadoop 转换成实时计算系统呢? 这个问题的答案可能令人略感失望:没有。 Hadoop 作为批处理系统,与实时处理系统在需求上存在着本质的区别。要做到实时性,不仅需要及时地推送数据以便处理,还要将数据划分成尽可能小的单位,而 HDFS 存储推送数据的能力已经远不能满足实时性的需求。另外, Hadoop 还存在配置、一致性和可伸缩性方面的问题。那么问题来了,怎么才能构建出一个可靠的实时处理系统呢? 答案是 Storm 。从整体架构上看, Storm 和 Hadoop 非常类似。 Storm 从架构基础本身就实现了实时计算和数据处理保序的功能,而且从概念上看, Storm 秉承了许多 Hadoop 的概念、术语和操作方法,因此如果你对 Hadoop 非常熟悉,那么将 Storm 与 Hadoop 集成也不是什么难事。通过 Storm Trident 提供的高级抽象元语,你可以像 Hadoop Cascading 简化并行批处理那样简化并行实时数据处理。我本人在实时计算服务器开发方面具有一定的经验,对大数据处理解决方案十分感兴趣,也对相关技术有一些了解,并且有幸承担了本书的翻译工作。本书从多个角度解析了有关 Storm 的最佳实践,无论是从最基本的应用、多语言特