Hadoop“无法为您的平台加载原生Hadoop库”;警告

我目前正在运行CentOs的服务器上配置hadoop。当我运行start-dfs.sh或stop-dfs.sh时，我得到以下错误:

< p >警告跑龙套。NativeCodeLoader:无法加载原生hadoop库 你的平台……使用内置java类

我正在运行Hadoop 2.2.0。

在网上搜索时找到了这个链接:http://balanceandbreath.blogspot.ca/2013/01/utilnativecodeloader-unable-to-load.html

然而，hadoop 2上/native/目录的内容。x似乎不同，所以我不知道该怎么办。

我还在hadoop-env.sh中添加了以下两个环境变量:

< p >出口HADOOP_OPTS = " HADOOP_OPTS美元 -Djava.library.path = / usr /地方/ hadoop / lib /”< / p >

出口HADOOP_COMMON_LIB_NATIVE_DIR = " / usr /地方/ hadoop / lib /本地/”

什么好主意吗?

569676 次浏览
小开
最佳答案

我假设您在64位CentOS上运行Hadoop。你看到这个警告的原因是原生Hadoop库$HADOOP_HOME/lib/native/libhadoop.so.1.0.0实际上是32位编译的。

无论如何，这只是一个警告，不会影响Hadoop的功能。

下面是消除此警告的方法，下载Hadoop源代码并在64位系统上重新编译libhadoop.so.1.0.0，然后替换32位系统。

关于如何重新编译Ubuntu源代码的步骤包括在这里:

祝你好运。

小开

要安装Hadoop，从Cloudera安装免费版要容易得多。它提供了一个很好的GUI，可以简单地添加节点，没有编译或填充依赖关系，它提供了像hive, pig等东西。

http://www.cloudera.com/content/support/en/downloads.html

< p >步骤: 1)下载 2)运行 3)进入web GUI (1.2.3.4:7180) 4)在web gui中添加额外的节点(不要在其他节点上安装cloudera软件，它会为你做所有的事情) 5)在web GUI中进入Home，单击Hue和Hue web UI。这让你可以访问Hive, Pig, Sqoop等
小开

@zhutoulala—FWIW你的链接在Hadoop 2.4.0中为我工作，除了一个例外，我不得不告诉maven不要构建javadocs。我也在2.4.0的第一个链接中使用了补丁，它工作得很好。这是我必须发出的maven命令

mvn package -Dmaven.javadoc.skip=true -Pdist,native -DskipTests -Dtar

在构建这个并移动库之后，不要忘记更新hadoop-env.sh:)

我想这也许能帮到跟我一样遇到困难的人

小开

以我为例，在我的64位Linux mint操作系统上构建hadoop后，我替换了hadoop/lib中的本机库。问题仍然存在。然后我算出hadoop指向hadoop/lib而不是hadoop/lib/native。所以我只是把所有的内容从本机库移动到它的父库。警告就这么消失了。

小开

我也有同样的问题。通过在.bashrc中添加以下行来解决:

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
小开

只需要像这样将单词本地的附加到你的HADOOP_OPTS:

export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=$HADOOP_HOME/lib/native"

PS:谢谢Searene

小开 
export HADOOP_HOME=/home/hadoop/hadoop-2.4.1
export PATH=$HADOOP_HOME/bin:$PATH
export HADOOP_PREFIX=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_PREFIX
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_PREFIX/lib/native
export HADOOP_CONF_DIR=$HADOOP_PREFIX/etc/hadoop
export HADOOP_HDFS_HOME=$HADOOP_PREFIX
export HADOOP_MAPRED_HOME=$HADOOP_PREFIX
export HADOOP_YARN_HOME=$HADOOP_PREFIX
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH
小开

将已编译的本机库文件移动到$HADOOP_HOME/lib文件夹。

然后通过编辑.bashrc文件设置环境变量

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib
export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=$HADOOP_HOME/lib"

确保已编译的本机库文件位于$HADOOP_HOME/lib文件夹中。

它应该会起作用。

小开

这也是可行的:

export LD_LIBRARY_PATH=/usr/lib/hadoop/lib/native
小开

这一行:

export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH

KunBetter的答案是钱在哪里

小开

答案取决于……我刚刚在64位CentOS 6.6上从tarball安装了Hadoop 2.6。Hadoop安装确实附带了一个预先构建的64位本机库。对于我的安装，它在这里:

/opt/hadoop/lib/native/libhadoop.so.1.0.0

我知道它是64位的:

[hadoop@VMWHADTEST01 native]$ ldd libhadoop.so.1.0.0
./libhadoop.so.1.0.0: /lib64/libc.so.6: version `GLIBC_2.14' not found (required by ./libhadoop.so.1.0.0)
linux-vdso.so.1 =>  (0x00007fff43510000)
libdl.so.2 => /lib64/libdl.so.2 (0x00007f9be553a000)
libc.so.6 => /lib64/libc.so.6 (0x00007f9be51a5000)
/lib64/ld-linux-x86-64.so.2 (0x00007f9be5966000)

不幸的是，当我专注于“这个库是32 pr 64位的吗?”时，我愚蠢地忽略了就在我面前的答案。：

`GLIBC_2.14' not found (required by ./libhadoop.so.1.0.0)

所以，我们吸取了教训。不管怎样，剩下的至少让我能够抑制警告。因此，我继续执行其他答案中推荐的所有操作，使用HADOOP_OPTS环境变量提供库路径，但没有任何效果。所以我看了源代码。生成错误的模块告诉你提示(跑龙套。NativeCodeLoader):

15/06/18 18:59:23 WARN util.NativeCodeLoader: Unable to load native-hadoop    library for your platform... using builtin-java classes where applicable

到这里，看看它是怎么做的:

http://grepcode.com/file/repo1.maven.org/maven2/com.ning/metrics.action/0.2.6/org/apache/hadoop/util/NativeCodeLoader.java/ < a href = " http://grepcode.com/file/repo1.maven.org/maven2/com.ning/metrics.action/0.2.6/org/apache/hadoop/util/NativeCodeLoader.java/ " > < / >

啊，这里有一些调试级别的日志记录——让我们打开它，看看是否能得到一些额外的帮助。这是通过向$HADOOP_CONF_DIR/log4j添加以下行来完成的。属性文件:

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=DEBUG

然后我运行了一个命令，生成原始警告，如stop-dfs.sh，并得到了这个好东西:

15/06/18 19:05:19 DEBUG util.NativeCodeLoader: Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError: /opt/hadoop/lib/native/libhadoop.so.1.0.0: /lib64/libc.so.6: version `GLIBC_2.14' not found (required by /opt/hadoop/lib/native/libhadoop.so.1.0.0)

答案在这个调试消息片段中显示(与前面的ldd命令“试图”告诉我的事情相同:

`GLIBC_2.14' not found (required by opt/hadoop/lib/native/libhadoop.so.1.0.0)

我有什么版本的GLIBC ?这里有一个简单的技巧来找出答案:

[hadoop@VMWHADTEST01 hadoop]$ ldd --version
ldd (GNU libc) 2.12

所以，不能更新我的操作系统到2.14。唯一的解决方案是从我的操作系统上的源代码构建本机库，或者压制警告并暂时忽略它。我选择暂时屏蔽这个恼人的警告(但计划将来从源代码构建)，使用与获取调试消息相同的日志记录选项，只是现在将其设置为ERROR级别。

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

我希望这能帮助其他人看到，开源软件的一大好处是，如果您采取一些简单的逻辑步骤，就可以解决这些问题。

小开

从以前的帖子验证补救措施:

1)检查Hadoop发行版附带的libhadoop.so.1.0.0是否为我的机器架构编译，即x86_64:

[nova]:file /opt/hadoop-2.6.0/lib/native/libhadoop.so.1.0.0
/opt/hadoop-2.6.0/lib/native/libhadoop.so.1.0.0: ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamically linked, BuildID[sha1]=3a80422c78d708c9a1666c1a8edd23676ed77dbb, not stripped

2)在hadoop-env.sh中添加-Djava.library.path=<path>到HADOOP_OPT:

export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.library.path=/opt/hadoop-2.6.0/lib/native"

这确实使恼人的警告消失了。

小开

这一行:

export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH

来自KunBetter的答案，对我有用。 只需将其附加到.bashrc文件并重新加载.bashrc contents

$ source ~/.bashrc
小开

对于那些在OSX上通过Homebrew安装Hadoop的用户，请按照以下步骤替换路径和Hadoop版本

wget http://www.eu.apache.org/dist/hadoop/common/hadoop-2.7.1/hadoop-2.7.1-src.tar.gz
tar xvf hadoop-2.7.1-src.tar.gz
cd hadoop-2.7.1-src
mvn package -Pdist,native -DskipTests -Dtar
mv lib /usr/local/Cellar/hadoop/2.7.1/

然后更新hadoop-env.sh

export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc= -Djava.library.path=/usr/local/Cellar/hadoop/2.7.1/lib/native"
小开

首先:您可以修改glibc版本。CentOS提供传统的安全软件，这也意味着版本是旧的，如glibc,protobuf…

ldd --version
ldd /opt/hadoop/lib/native/libhadoop.so.1.0.0

您可以将当前glibc的版本与所需的glibc进行比较。

其次:如果当前glibc版本较旧，可以更新glibc。 下载Glibc < / p >

如果当前glibc id的版本正确，则可以将word native附加到HADOOP_OPTS中

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
小开

经过KotiI建议的持续研究，这个问题得到了解决。

hduser@ubuntu:~$ cd /usr/local/hadoop


hduser@ubuntu:/usr/local/hadoop$ ls


bin  include  libexec      logs        README.txt  share
etc  lib      LICENSE.txt  NOTICE.txt  sbin


hduser@ubuntu:/usr/local/hadoop$ cd lib


hduser@ubuntu:/usr/local/hadoop/lib$ ls
native


hduser@ubuntu:/usr/local/hadoop/lib$ cd native/


hduser@ubuntu:/usr/local/hadoop/lib/native$ ls


libhadoop.a       libhadoop.so        libhadooputils.a  libhdfs.so
libhadooppipes.a  libhadoop.so.1.0.0  libhdfs.a         libhdfs.so.0.0.0


hduser@ubuntu:/usr/local/hadoop/lib/native$ sudo mv * ../

干杯

小开
我用JDK6也有同样的问题，我把JDK换成了JDK8，问题解决了。 尝试使用JDK8!!< / p >
小开 
export JAVA_HOME=/home/hadoop/software/java/jdk1.7.0_80
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_COMMON_LIB_NATIVE_DIR"
小开

我没有使用CentOS。以下是我在Ubuntu 16.04.2, hadoop-2.7.3, jdk1.8.0_121中的内容。运行start-dfs.sh或stop-dfs.sh成功，没有错误:

# JAVA env
#
export JAVA_HOME=/j01/sys/jdk
export JRE_HOME=/j01/sys/jdk/jre


export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:${PATH}:.


# HADOOP env
#
export HADOOP_HOME=/j01/srv/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME


export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

将“/j01/sys/jdk”、“/j01/srv/hadoop”替换为安装路径

我还在Ubuntu上做了以下一次设置，这样在运行start-dfs.sh时就不需要多次输入密码了:

sudo apt install openssh-server openssh-client
ssh-keygen -t rsa
ssh-copy-id user@localhost

将user替换为用户名

小开
除了@zhutoulala接受的答案之外，这里是一个更新，使其能够在ARMHF平台(树莓派3模型B)上使用最新的稳定版本(2.8)。 首先，我可以确认您必须将本机库重新编译为64位ARM，这里基于设置一些环境变量的其他答案将不起作用。正如Hadoop文档中所指出的，预构建的本机库是32位的

拳头链接(http://www.ercoppa.org/posts/how-to-compile-apache-hadoop-on-ubuntu-linux.html)中给出的高级步骤是正确的。 在这个url http://www.instructables.com/id/Native-Hadoop-260-Build-on-Pi/上，你可以获得更多关于树莓派的详细信息，但不包括Hadoop 2.8版本

以下是我对Hadoop 2.8的建议:

  • 在最新的Raspbian上仍然没有protobuf包，所以你必须自己编译它，版本必须是protobuf 2.5 (https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz)

  • CMake文件补丁方法必须更改。而且，要打补丁的文件也不相同。不幸的是，在JIRA 2.8上没有被接受的补丁。在这个URL (https://issues.apache.org/jira/browse/HADOOP-9320)上，你必须复制并粘贴Andreas Muttscheller建议的补丁到你的namenode上:

    :hadoop-2.8.0-src/hadoop-common-project/hadoop-common $ touch HADOOP-9320-v2.8.patch
:hadoop-2.8.0-src/hadoop-common-project/hadoop-common $ vim HADOOP-9320-v2.8.patch
#copy and paste proposed patch given here : https://issues.apache.org/jira/browse/HADOOP-9320?focusedCommentId=16018862&page=com.atlassian.jira.plugin.system.issuetabpanels:comment-tabpanel#comment-16018862
:hadoop-2.8.0-src/hadoop-common-project/hadoop-common $ patch < HADOOP-9320-v2.8.patch
patching file HadoopCommon.cmake
patching file HadoopJNI.cmake
:hadoop-2.8.0-src/hadoop-common-project/hadoop-common $ cd ../..
:hadoop-2.8.0-src $ sudo mvn package -Pdist,native -DskipTests -Dtar

Once build is successful :

    :hadoop-2.8.0-src/hadoop-dist/target/hadoop-2.8.0/lib/native $ tar -cvf nativelibs.tar *

用这个归档文件的内容替换Hadoop安装的lib/native目录的内容。运行Hadoop时的警告消息应该消失。

小开

基本上，这不是一个错误，这是Hadoop集群中的一个警告。 这里我们只是更新了环境变量 

export HADOOP_OPTS = "$HADOOP_OPTS"-Djava.library.path = /usr/local/hadoop/lib

 export HADOOP_COMMON_LIB_NATIVE_DIR = "/usr/local/hadoop/lib/native"
小开

原生hadoop库仅支持*nix平台。该库不能在Cygwin或Mac OS X平台上使用。

参考文献:https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/NativeLibraries.html

如果您使用的是Windows或Mac OS X，则需要将平台更改为*nix。

小开

这个答案是@chromeeagle的分析和本链接(南晓)的混合。

对于那些其他解决方案根本不起作用的人，请遵循以下步骤:

  1. 编辑文件$HADOOP_HOME/etc/hadoop/log4j.properties (credit to @chromeeagle)。在结尾加一行:

    log4j.logger.org.apache.hadoop.util.NativeCodeLoader=DEBUG

  2. 启动spark/pyspark shell。您将看到关于本机库未加载的附加日志信息。在我的情况下，我有以下错误:

    Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError: no hadoop in java.library.path

  3. 要修复这个特定的问题，将Hadoop本机库路径添加到用户配置文件中的LD_LIBRARY_PATH环境变量:

    export LD_LIBRARY_PATH="$HADOOP_HOME/lib/native:$LD_LIBRARY_PATH"

希望这能有所帮助。我在几个HADOOP安装中遇到了这个问题，它在两个上都有效。

小开

在.bashrc文件的LD_LIBRARY_PATH中添加Hadoop本机库，并使用源~/.bashrc将库重新加载到当前会话中

export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native

(或)如果你有hadoop库安装在/usr/lib/

export LD_LIBRARY_PATH=/usr/lib/hadoop/lib/native

提交答案