一文读懂大数据量组合数据集在永洪的应用实例

按照字面意思，Mapsidejoin就是M—节点—组合 。在了解Mapsidejoin之前，首先我们要了解一下MapReduce模型以及产品的四个节点CNMR的作用，通过MapReduce模型中，Mapsidejoin和Reducesidejoin的对比，了解在大数据量数据集进行组合时，Mapsidejoin的优点。Naming Node —N节点相当于集群的大脑，除了监控集群其他节点外，还要收集客户通过C节点提交的任务进行分配等等。Map端join的好处是可以提前过滤掉join中需要排除的大量数据，会减少数据的传输，因此Mapsidejoin 适用于大数据量join的场景。分片列的Mapsidejoin实现逻辑其实和上面情况1的图片类似。