Pig“未能在Docker ENV中为Hadoop群集创建数据存储”_Hadoop_Docker_Apache Pig

Pig“未能在Docker ENV中为Hadoop群集创建数据存储”

hadoop docker apache-pig

Pig“未能在Docker ENV中为Hadoop群集创建数据存储”,hadoop,docker,apache-pig,Hadoop,Docker,Apache Pig,我试图在我的本地机器（OSX）中运行Pig和Hadoop来测试脚本，但我似乎无法在Docker中连接Hadoop 我在本地安装了清管器。我从安装了Hadoop，并使用此命令运行机器 docker run -it sequenceiq/hadoop-docker:2.7.0 -p 50010:50010 -p 19888:19888 /etc/bootstrap.sh -bash 我可以启动Hadoop docker 我查看了Dockerfile以查看暴露了哪些端口这是我的hadoop站点.x

我试图在我的本地机器（OSX）中运行Pig和Hadoop来测试脚本，但我似乎无法在Docker中连接Hadoop

我在本地安装了清管器。我从安装了Hadoop，并使用此命令运行机器

docker run -it sequenceiq/hadoop-docker:2.7.0 -p 50010:50010 -p 19888:19888 /etc/bootstrap.sh -bash

我可以启动Hadoop docker

我查看了

Dockerfile

以查看暴露了哪些端口

这是我的

hadoop站点.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/tmp/hadoop-${user.name}</value>
</property>
<property>
  <name>fs.default.name</name>
  <value>hdfs://192.168.99.100:50010</value>
</property>
<property>
  <name>mapred.job.tracker</name>
  <value>hdfs://192.168.99.100:19888</value>
</property>
<property> 
  <name>dfs.replication</name>
  <value>8</value>
</property>
<property>
  <name>mapred.child.java.opts</name>
  <value>-Xmx512m</value>
</property>
</configuration>

我遗漏了什么吗？

Docker在OSX（和Windows）上的虚拟机中运行

公开docker端口与VirtualBox中的转发端口不同

您是否在VirtualBox中的“设置>网络>高级>端口转发”下转发了相应的端口

看起来Pig可以连接到Hadoop。但是它在这里失败了

错误2999:意外的内部错误。未能创建数据存储

如果无法连接到HDFS，则可能无法创建数据存储。前面的线路显示它正在尝试连接。如果你SSH到docker box并运行pig，我打赌它会工作的谢谢我现在就试试。我这么做了，但仍然不起作用。它失败，并显示相同的消息Thread和HDFS服务是否正在运行？

e.xml to override properties of core-default.xml, mapred-default.xml and hdfs-default.xml respectively
15/12/28 12:29:04 INFO pig.ExecTypeProvider: Trying ExecType : LOCAL
15/12/28 12:29:04 INFO pig.ExecTypeProvider: Trying ExecType : MAPREDUCE
15/12/28 12:29:04 INFO pig.ExecTypeProvider: Picked MAPREDUCE as the ExecType
2015-12-28 12:29:04,982 [main] INFO  org.apache.pig.Main - Apache Pig version 0.15.0 (r1682971) compiled Jun 01 2015, 11:43:55
2015-12-28 12:29:04,982 [main] INFO  org.apache.pig.Main - Logging error messages to: /Users/ncharass/opensource/pig-0.15.0/conf/pig_1451323744980.log
2015-12-28 12:29:04,995 [main] INFO  org.apache.pig.impl.util.Utils - Default bootup file /Users/ncharass/.pigbootup not found
2015-12-28 12:29:05,141 [main] INFO  org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to hadoop file system at: hdfs://192.168.99.100:50010
2015-12-28 12:29:05,371 [main] ERROR org.apache.pig.Main - ERROR 2999: Unexpected internal error. Failed to create DataStorage
Details at logfile: /Users/ncharass/opensource/pig-0.15.0/conf/pig_1451323744980.log
2015-12-28 12:29:05,383 [main] INFO  org.apache.pig.Main - Pig script completed in 468 milliseconds (468 ms)