spark countbykey的结果怎么输出
答案:2 悬赏:80 手机版
解决时间 2021-02-20 15:26
- 提问者网友：太高姿态
- 2021-02-19 21:56
spark countbykey的结果怎么输出
最佳答案
- 五星知识达人网友：人類模型
- 2021-02-19 22:55
numSplits：来自job.getNumMapTasks()，即在job启动时用org.apache.Hadoop.mapred.JobConf.setNumMapTasks(int n)设置的值，给M-R框架的Map数量的提示。goalSize：是输入总大小与提示Map task数量的比值，即期望每个Mapper处理多少的数据
全部回答
- 1楼网友：孤独的牧羊人
- 2021-02-19 23:58
把spark/conf/log4j.properties下的
log4j.rootcategory=【warn】=> 【error】
log4j.logger.org.spark-project.jetty=【warn】=> 【error】
我要举报
如以上回答内容为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！
点此我要举报以上问答信息
大家都在看
推荐资讯