MapReduce程序调整Map/Reduce task内存参数

参考：https://blog.csdn.net/u014665013/article/details/80923044

 

1.先看yarn.scheduler.minimum-allocation-mb和yarn.scheduler.maximum-allocation-mb

yarn.scheduler.minimum-allocation-mb：决定MapReduce使用的最小内存

yarn.scheduler.maximum-allocation-mb：决定MapReduce使用的最大内存

 

2.调整MapReduce内存

调整map任务内存：mapreduce.map.memory.mb

       该参数不能比yarn.scheduler.minimum-allocation-mb小，否则不起作用

 

调整reduce任务内存：mapreduce.reduce.memory.mb

       该参数不能比yarn.scheduler.minimum-allocation-mb小，否则不起作用