hadoop—集群维护手册.doc

Hadoop某些
启动命令：start-
停止命令：stop-
Hadoop运营
增长集群存储量/节点
如果只增长集群存储量，建议增长Hadoop datanode节点。
环节：
1、停掉集群涉及Hadoop和hbase，固然也可以不断掉，直接在hadoop namenode配备文献Slave里添加新节点host，别忘了在host文献里也要添加新添加host名。
2、执行bin/start-
3、如下选取一种
如果不手动作平衡，插入数据将会放在新添加节点上。以趋于平衡。
如果手动平衡，则 start- balancer命令相似，也可加参数 -threshold 5（threshold 是平衡阈值，默认是10%，值越低各节点越平衡，但消耗时间也更长）。 在使用start-，如果在hdfs-，那么集群hdfs内部默认使用1M/S速度移动数据(so slowly...)，咱们可以通过在hdfs-。 最开始咱们配备是20m/S ，然后成果是导致job运营变得不稳定，浮现某些意外长map单元，某些reduce时间解决变长(整个集群负载满满状况下，外加20m/sbalance)，在前天中华人民共和国hadoop年会上听淘宝调节为10m/s，需要调节后实验，看看状况如何。 ，需要在namenode上运营stop- start-。咱们可以通过stop-。作完平衡后，启动hbase，正常。 果cluster设立副本数不为3（默认），需要先运营命令hadoop fs –setrep [-R] <path> ；
进行设立一种文献副本系数。如果默以为3则不必。如果执行完平衡后来才变化副本数，会将新加入到新节点上所有数据删除。 ，并不影响在新添加节点时，平衡时副本数；
此外：由于尚有hbase数据库，因而，在运营完平衡后来，（防止出错），启动hbase，执行hbase add_table /表名 来进行hbase表恢复；
Hadoop1升级
-upgradeProgress status 检查与否存在备份 如果是第一次升级 就不存在备份(在升级Hadoop前，如果已经存在备份，需要先结束 finalize 它。)
,同步要备份下hdfs文献目录元数据信息:
bin/hadoop fsck / -files -blocks -locations > dfs-v-old-fsck-
bin/hadoop dfs -lsr / > dfs-v-old-lsr-
bin/had