hadoop的mapreduce编程遇到了如下几个问题：

答案:2 悬赏:0 手机版

解决时间 2021-02-23 15:09

提问者网友：情歌越听越心酸
2021-02-22 23:05

我把NumReduceTasks设为5，但是输出只有一个文件夹（这个文件包含了所有应该输出的信息）。按理说应该有5个才对啊？
针对一个（key,value）如何在屏幕上输出处理它的reducer的编号？（要用系统函数，而不是hash公式）
3.输出文件的个数可以手动控制吗？

最佳答案

五星知识达人网友：罪歌
2021-02-23 00:31

一个reduce对应一个输出文件，而不是输出文件夹，如果想要输出到多个文件夹建议使用MultiOutputFormat，如何使用请自己脑补。
至于如何获取reducer编号，应该可以在reduce内部使用context.getTaskAttemptID().getTaskID().getId()获得

全部回答

1楼网友：慢性怪人
2021-02-23 00:42

分别对map函数和reduce函数进行测试，功能正确后，就可以在小规模集群上进行测试，测试成功后就可以在hadoop集群上进行运行。这里先不介绍单元测试的知识，后面再专门介绍如何在hadoop中使用mrunit进行单元测试。 mrunit是由couldera公司开发的...

我要举报

如以上回答内容为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！

点此我要举报以上问答信息