Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/backbone.js/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark sbt、常春藤、离线工作和怪异_Apache Spark_Sbt_Ivy - Fatal编程技术网

Apache spark sbt、常春藤、离线工作和怪异

Apache spark sbt、常春藤、离线工作和怪异,apache-spark,sbt,ivy,Apache Spark,Sbt,Ivy,我正在尝试离线(再次)处理sbt项目。一切似乎都很好,但有些奇怪的事情让我感到困惑。我注意到的是: 我已经创建了一个空的sbt项目,并且正在考虑build.sbt中的以下依赖项: name := "sbtSand" version := "1.0" scalaVersion := "2.11.7" libraryDependencies ++= Seq( "joda-time" % "joda-time" % "2.9.1", "org.apache.spark" %% "

我正在尝试离线(再次)处理sbt项目。一切似乎都很好,但有些奇怪的事情让我感到困惑。我注意到的是:

我已经创建了一个空的sbt项目,并且正在考虑build.sbt中的以下依赖项:

name := "sbtSand"

version := "1.0"

scalaVersion := "2.11.7"

libraryDependencies ++= Seq(
    "joda-time" % "joda-time" % "2.9.1",
    "org.apache.spark" %% "spark-core" % "1.5.2"
)
我在线构建了该项目,可以在[userhome]/.ivy2/cache中查看所有包。该项目建设良好。然后我关闭wifi,sbt清理并尝试构建。构建失败。我注释掉了spark依赖关系(保持joda时间为1)。仍然脱机,我运行sbt编译。该项目建设良好。我把火花塞进去,然后就干净了。它再次失败了。我重新上网。我可以重新建造

失败生成的sbt输出如下所示:

它的关键部分是:

[info]解析org.apache.hadoop#hadoop mapreduce客户端应用程序;2.2.0 ...
[警告]找不到主机repo1.maven.org。网址=https://repo1.maven.org/maven2/org/apache/hadoop/hadoop-mapreduce-client-app/2.2.0/hadoop-mapreduce-client-app-2.2.0.pom
[信息]您可能通过未正确配置的代理服务器访问目标服务器。


有趣的是,sbt正设法使用来自常春藤缓存的joda时间,但对于spark core包(或者更确切地说是它的依赖项),它希望连接到internet,但构建失败。有谁能帮助我理解这一点,以及我能做些什么,以便在完全脱机的情况下使其工作?

问题似乎在0.13.9中得到了解决。我用的是0.13.8。[适用于windows的0.13.9 msi似乎为我提供了0.13.8,而0.13.9.2 msi安装了正确的版本。现有项目需要手动更新为0.13.9内部版本属性。]

我还尝试在“测试”中添加scalatest。这也可以脱机使用。您是否使用sbt的
-offline
标志?如果您的意思是“set offline:=true”,那么是的-我已经尝试过了。从我收集的资料来看,它只适用于快照,我没有使用任何快照。@ashic注意,当从Scala使用joda time时,它对joda convert有一个强制依赖关系,Scala在其POM中定义为可选。因此,您必须自己声明该依赖关系。请参阅并搜索必填项。IIRC不包括这种依赖性可能会导致难以追踪的奇怪行为,我不记得为什么POM是这样,但我责怪maven;-)嗯。顺便说一句,这是一个解释,所以我不是完全疯了。。。。这些问题完全符合我的设想!