当前位置:首页>开发>正文

hadoop的缓存机制

2023-12-22 17:36:01 互联网 未知 开发

hadoop的缓存机制?

hadoop的缓存机制

分布式缓存一个最重要的应用就是在进行join操作的时候,如果一个表很大,另一个表很小,我们就可以将这个小表进行广播处理,即每个计算节点上都存一份,然后进行map端的连接操作,经过我的实验验证,这种情况下处理效率大大高于一般的reduce端join,广播处理就运用到了分布式缓存的技术。