网络拓扑与Hadoop，网络拓扑Hadoop

网络拓扑与Hadoop，网络拓扑Hadoop

1，首先在本地网络中，两个节点被称为"彼此近邻"是什么意思?

在海量数据处理中，其主要限制因素是节点之间数据的传输速率--------带宽很稀缺、这里的想法是将两个节点间作为距离的衡量标准。

 2，hadoop网络拓扑的实现

不用衡量节点之间的带宽-----实际上很难实现(他需要一个稳定的集群，并且在集群中两两节点对数量是节点数量的平方)----Hadoop为此采用一个简单的方法:把网络看做一课树，两个节点间的距离是他们到最近共同祖先的距离总和。该树中的层次是没有预先设定的，但是相对于数据中心，机架和正在运行的节点，通常可以设定等级，具体想法是针对以下的场景，可用带宽依次递减。

同一节点上的进程
同一机架上的不同节点
同一数据中心中不同机架上的节点
不同数据中心中的节点

例如:假设有数据中心 d1 机架r2 中的节点 n1. 该节点可以表示为/d1/r1/n1，利用这种标记，这里给出四种距离描述:

distance(/d1/r1/n1,/d1/r1/n1)=0（在同一节点上的进程）
distance(/d1/r1/n1,/d1/r1/n2)=2（统一机架上的不同节点）
distance(/d1/r1/n1,/d1/r2/n3)=4（同一数据中心不同机架上的节点）
distance(/d1/r1/n1,/d2/r3/n4)=8（不同数据中心中的节点）

如图：