京东HadNameNodeCluster方案.pptx

关于我们
我们在hadoop上的一些工作
目 录 CONTENTS
面临的问题
解决方案
实现的核心细节
未来计划
遇到的问题
内存瓶颈：
*元数据增加
*内存增加关于我们
我们在hadoop上的一些工作
目 录 CONTENTS
面临的问题
解决方案
实现的核心细节
未来计划
遇到的问题
内存瓶颈：
*元数据增加
*内存增加
*单机内存受限
提高性能：
* 单机处理能力受限
NameNode Cluster
已有方案 –-HDFS Federation
已有方案 -- MapR
我们的方案 - Geminifs
zx
zxn
…
…
k
ka
kk
kz
/
a
a1
ax
z
zz
zn
kn
knk
knz
knn
BlockManager
BlockManager
Heartbeat
Block replicate check
Block management
Datanode
Datanode
Datanode
Datanode
Namenode
Namenode
虚拟节点
每个虚拟节点代表原目录树空间中以此节点为根的子树
每个Namenode负责1个或多个虚拟节点所对应的子树
Storage
Namespace
Geminifs
Geminifs
NN侧重目录树管理
NN不停机横向扩展
BM通用存储方案
BM不停机横向扩展
用户无需配置扩展的节点
元数据与存储解耦
NN,BM独立提高性能
NN,BM HA
新增特性
实现
zx
zxn
…
…
k
ka
kk
kz
/
a
a1
ax
z
zn
kn
knk
knz
knn
目录树拆分
将要拆分的子树目录结构在新的Namenode的根目录下重建
将原Namenode上拆分出去的目录节点标记为虚拟节点
将原Namenode上拆分出去的目录节点的所有子节点删除
/
zx
k
-
a
a1
ax
z
zn
NN1
/
k
ka
kk
kz
kn
NN2
/
kn
knk
knz
knn
NN3
/
zx
zxn
…
…
NN4
如何访问/k/kn/knk
实现
zx
zxn
…
…
k
ka
kk
kz
/
a
a1
ax
z
zn
kn
knk
knz
knn
主干树
从根节点到任意虚拟节点的完整路径
叶子节点是虚拟节点
虚拟节点上记录此子树被加载的Namenode地址
各Namenode及访问的客户端都保存最新的主干树
zx
k
/
z
kn
实现
zx
zxn
…
…
k
ka
kk
kz
/
a
a1
ax
z
zn
kn
knk
knz
knn
/
zx
k
-
a
a1
ax
z
zn
/
k
ka
kk
kz
kn
/
kn
knk
knz
knn
/
zx
zxn
…
…
目录树拆分
将要拆分的子树目录结构在新的Namenode的根目录下重建
将原Namenode上拆分出去的目录节点标记为虚拟节点
将原Namenode上拆分出去的目录节点的所有子节点删除
NN一
NN二
NN三
NN四
zx
k
/
z
kn
主干树
NN2
NN3
NN4
实现
如何访问/k/kn/knk
/
zx
k
-
a
a1
ax
z
zn
/
k
ka
kk
kz
kn
/
kn
knk
knz
knn
/
zx
zxn
…
…
NN1
NN2
NN3
NN4
zx
k
/
z
kn
主干树
NN2
NN3
NN4
实现
如何实现权限验证
zx
zxn
…
…
k
ka
kk
kz
/
a
a1
ax
z
zn
kn
knk
knz
knn
从根节点到任意虚拟节点的完整路径
叶子节点是虚拟节点
虚拟节点上记录此子树被加载的Namenode地址
各Namenode及访问的客户端都保存最新的主干树
主干树的每个节点记录属主及Mode
zx
k
/