HadoopMap指南.pdf

: .
Hadoop Map/Reduce 教程
系统是运行在一组相同的节点上的，也就是说，计算节点和存储节点通常在一起。这
种配置允许框架在那些已经存好数据的节点上高效地调度任务，这可以使整个集群的网络带宽被非常高效地利用。
Map/Reduce 框架由一个单独的 master JobTracker 和每个集群节点一个 slave TaskTracker 共同组成。master 负责调
度构成一个作业的所有任务，这些任务分布在不同的 slave 上，master 监控它们的执行，重新执行已经失败的任务。而 slave
仅负责执行由 master 指派的任务。
应用程序至少应该指明输入/输出的位置（路径），并通过实现合适的接口或抽象类提供 map 和 reduce 函数。再加上其他作
业的参数，就构成了作业配置（job configuration）。然后，Hadoop 的 job client 提交作业（jar 包/可执行程序等）和配置
信息给 JobTracker，后者负责分发这些软件和配置信息给 slave、调度任务并监控它们的执行，同时提供状态和诊断信息
给 job-client。
虽然 Hadoop 框架是用 JavaTM 实现的，但 Map/Reduce 应用程序则不一定要用 Java 来写 。
 Hadoop Streaming 是一种运行作业的实用工具，它允许用户创建和运行任何可执行程序 （例如：Shell 工具）来做
为 mapper 和 reducer。
 Hadoop Pipes 是一个与 SWIG 兼容的 C++ API （没有基于 JNITM 技术），它也可用于实现 Map/Reduce 应用程序。
输入与输出
Map/Reduce 框架运转在<key, value> 键值对上，也就是说， 框架把作业的输入看为是一组<key, value> 键值对，
同样也产出一组 <key, value> 键值对做为作业的输出，这两组键值对的类型可能不同。
框架需要对 key 和 value 的类(classes)进行序列化操作， 因此，这些类需要实现 Writable 接口。 另外，为了方便框架执
行排序操作，key 类必须实现 WritableComparable 接口。
一个 Map/Reduce 作业的输入和输出类型如下所示：
(input) <k1, v1> -> map -> <k2, v2> -> combine -> <k2, v2> -> reduce -> <k3, v3> (output)例子：WordCount
在深入细节之前，让我们先看一个 Map/Reduce 的应用示例，以便对它们的工作方式有一个初步的认识。
WordCount 是一个简单的应用，它可以计算出指定数据集中每一个单词出现的次数。
这个应用适用于 单机模式， 伪分布式模式 或 完全分布式模式 三种 Hadoop 安装方式。
源代码

1. package ;