Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Google云引擎:在Hadoop的命令行安装期间未安装libsnapy errur_Hadoop_Google Compute Engine_Google Hadoop - Fatal编程技术网

Google云引擎:在Hadoop的命令行安装期间未安装libsnapy errur

Google云引擎:在Hadoop的命令行安装期间未安装libsnapy errur,hadoop,google-compute-engine,google-hadoop,Hadoop,Google Compute Engine,Google Hadoop,我正在尝试使用安装在Google计算引擎上的自定义Hadoop实现(>2.0)。我的bdutil_env.sh文件的修改参数如下: GCE_IMAGE='ubuntu-14-04' GCE_MACHINE_TYPE='n1-standard-1' GCE_ZONE='us-central1-a' DEFAULT_FS='hdfs' HADOOP_TARBALL_URI='gs://<mybucket>/<my_hadoop_tar.gz>' GCE_IMAGE='ubu

我正在尝试使用安装在Google计算引擎上的自定义Hadoop实现(>2.0)。我的bdutil_env.sh文件的修改参数如下:

GCE_IMAGE='ubuntu-14-04'
GCE_MACHINE_TYPE='n1-standard-1'
GCE_ZONE='us-central1-a'
DEFAULT_FS='hdfs'
HADOOP_TARBALL_URI='gs://<mybucket>/<my_hadoop_tar.gz>'
GCE_IMAGE='ubuntu-14-04'
GCE_机器类型='n1-standard-1'
GCE_ZONE='us-central1-a'
默认值
HADOOP_TARBALL_URI='gs://'
./bdutil部署失败,退出代码为1。我在生成的debug.info文件中发现以下错误:

    ssh: connect to host 130.211.161.181 port 22: Connection refused
ERROR: (gcloud.compute.ssh) [/usr/bin/ssh] exited with return code [255].
ssh: connect to host 104.197.63.39 port 22: Connection refused
ssh: connect to host 104.197.7.106 port 22: Connection refused
ERROR: (gcloud.compute.ssh) [/usr/bin/ssh] exited with return code [255].
ERROR: (gcloud.compute.ssh) [/usr/bin/ssh] exited with return code [255].
.....
.....
Connection to 104.197.7.106 closed.
ERROR: (gcloud.compute.ssh) [/usr/bin/ssh] exited with return code [123].
Connection to 104.197.63.39 closed.
ERROR: (gcloud.compute.ssh) [/usr/bin/ssh] exited with return code [123].
Connection to 130.211.161.181 closed.
ERROR: (gcloud.compute.ssh) [/usr/bin/ssh] exited with return code [123].
...
...
hadoop-w-1: ==> deploy-core-setup_deploy.stderr <==
....
....
hadoop-w-1: dpkg-query: package 'libsnappy1' is not installed and no information is available
hadoop-w-1: Use dpkg --info (= dpkg-deb --info) to examine archive files,
hadoop-w-1: and dpkg --contents (= dpkg-deb --contents) to list their contents.
hadoop-w-1: dpkg-preconfigure: unable to re-open stdin: No such file or directory
hadoop-w-1: dpkg-query: package 'libsnappy-dev' is not installed and no information is available
hadoop-w-1: Use dpkg --info (= dpkg-deb --info) to examine archive files,
hadoop-w-1: and dpkg --contents (= dpkg-deb --contents) to list their contents.
hadoop-w-1: dpkg-preconfigure: unable to re-open stdin: No such file or directory
hadoop-w-1: ./hadoop-env-setup.sh: line 612: Package:: command not found
....
....
hadoop-w-1: find: `/home/hadoop/hadoop-install/lib': No such file or directory
ssh:连接到主机130.211.161.181端口22:连接被拒绝
错误:(gcloud.compute.ssh)[/usr/bin/ssh]已退出,返回代码为[255]。
ssh:连接到主机104.197.63.39端口22:连接被拒绝
ssh:连接到主机104.197.7.106端口22:连接被拒绝
错误:(gcloud.compute.ssh)[/usr/bin/ssh]已退出,返回代码为[255]。
错误:(gcloud.compute.ssh)[/usr/bin/ssh]已退出,返回代码为[255]。
.....
.....
与104.197.7.106的连接已关闭。
错误:(gcloud.compute.ssh)[/usr/bin/ssh]已退出,返回代码为[123]。
与104.197.63.39的连接已关闭。
错误:(gcloud.compute.ssh)[/usr/bin/ssh]已退出,返回代码为[123]。
与130.211.161.181的连接已关闭。
错误:(gcloud.compute.ssh)[/usr/bin/ssh]已退出,返回代码为[123]。
...
...

hadoop-w-1:==>deploy-core-setup_deploy.stderr查看错误代码,您似乎必须在类路径中下载snappy库。如果您使用的是java,那么您可以从这个路径下载您的库。或者尝试此链接。

在本例中,ssh和libsnapy错误是一种误导;当虚拟机无法立即使用SSH时,bdutil进行了一段时间的轮询,直到它打印出如下内容:

...Thu May 14 16:52:23 PDT 2015: Waiting on async 'wait_for_ssh' jobs to finish. Might take a while...
...
Thu May 14 16:52:33 PDT 2015: Instances all ssh-able
同样,您看到的libsnappy错误也是一个令人费解的错误,因为它来自于对
dpkg-s
的调用,试图确定是否确实安装了一个包,如果没有,则尝试安装它:

我们将努力清理这些错误消息,因为它们可能会产生误导。与此同时,这里的主要问题是Ubuntu在历史上并不是受支持的
bdutil
图像之一;我们彻底验证了CentOS和Debian图像,但没有Ubuntu图像,因为它们只是在2014年11月发布的。对于任何debian-7或centos-6映像,您的部署都可以与自定义tarball配合使用。我们已经在GitHub上提交了一个问题,以跟踪Ubuntu对bdutil的支持:


编辑:这个问题已经在主存储库中得到了Ubuntu的支持;您可以在最近一次提交时下载。

我查看了bdutil脚本;似乎snappy应该通过部署脚本本身安装。该故障导致Hadoop无法在任何机器上启动;如果我不必亲自进入虚拟机并逐个安装它,那就更好了。您是否设置了bdutil_env.sh的CONFIGBUCKET和PROJECT所需变量?请从hadoop_TARBALL_URI中删除hadoop并重试。谢谢您的清理。如果您在bdutil文档页面上提到仅针对CentOS和Debian(现在是Ubuntu)的测试支持,这将非常有帮助,可能会让其他人以后更容易使用。我们的Hadoop tarball是在Ubuntu上构建和内部测试的,这就是为什么我们将Google实例图像也设置为Ubuntu的原因;从现在起,将尝试在所有云项目中使用Debian/CentOS映像。