map 100% reduce 100%之后 就没反应了.大神求解答
答案:2 悬赏:40 手机版
解决时间 2021-02-06 09:59
- 提问者网友:鐵馬踏冰河
- 2021-02-05 17:30
map 100% reduce 100%之后 就没反应了.大神求解答
最佳答案
- 五星知识达人网友:时间的尘埃
- 2021-02-05 18:45
把配置发出来看看?你最高也才38的EXPLORER,应该硬件升级下好点
全部回答
- 1楼网友:拜訪者
- 2021-02-05 20:09
第一个警告是无法加载hadoop本地库:
hadoop是使用java语言开发的,但是有一些需求和操作并不适合使用java,所以就引入了本地库(native libraries)的概念,通过本地库,hadoop可以更加高效地执行某一些操作。
目前在hadoop中,本地库应用在文件的压缩上面:
•zlib
•gzip
在使用这两种压缩方式的时候,hadoop默认会从$hadoop_home/lib/native/linux-*目录中加载本地库。
如果加载成功,输出为:
debug util.nativecodeloader - trying to load the custom-built native-hadoop library...
info util.nativecodeloader - loaded the native-hadoop library
如果加载失败,输出为:
info util.nativecodeloader - unable to load native-hadoop library for your platform... using builtin-java classes where applicable
在hadoop的配置文件core-site.xml中可以设置是否使用本地库:
xml/html code?
1
2
3
4
5
hadoop.native.lib
true
should native hadoop libraries, if present, be used.
hadoop默认的配置为启用本地库。
另外,可以在环境变量中设置使用本地库的位置:
xml/html code?
1
export java_library_path=/path/to/hadoop-native-libs
有的时候也会发现hadoop自带的本地库无法使用,这种情况下就需要自己去编译本地库了。在$hadoop_home目录下,使用如下命令即可:
ant compile-native
编译完成后,可以在$hadoop_home/build/native目录下找到相应的文件,然后指定文件的路径或者移动编译好的文件到默认目录下即可。
我要举报
如以上回答内容为低俗、色情、不良、暴力、侵权、涉及违法等信息,可以点下面链接进行举报!
点此我要举报以上问答信息
大家都在看
推荐资讯