Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/scala/19.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scala 可以在Eclipse IDE中的Spark上运行配置单元吗?_Scala_Hadoop_Apache Spark_Hive - Fatal编程技术网

Scala 可以在Eclipse IDE中的Spark上运行配置单元吗?

Scala 可以在Eclipse IDE中的Spark上运行配置单元吗?,scala,hadoop,apache-spark,hive,Scala,Hadoop,Apache Spark,Hive,我一直在尝试使用Apache Spark框架开发Spark程序。 我想在没有任何集群的情况下实例化HiveContext。 是否可以使用HiveContext并通过EclipseScalaIDE在本地运行它,而不使用任何集群?简单地说是吗?当然(增加重点) 要使用HiveContext,不需要现有的配置单元设置,并且SQLContext可用的所有数据源仍然可用 但是,您需要编译一些额外的代码 HiveContext仅单独打包,以避免在默认Spark构建中包含所有配置单元的依赖项。如果这些依赖关系

我一直在尝试使用Apache Spark框架开发Spark程序。
我想在没有任何集群的情况下实例化
HiveContext


是否可以使用
HiveContext
并通过EclipseScalaIDE在本地运行它,而不使用任何集群?

简单地说是吗?当然(增加重点)

要使用
HiveContext
,不需要现有的配置单元设置,并且
SQLContext
可用的所有数据源仍然可用

但是,您需要编译一些额外的代码

HiveContext
仅单独打包,以避免在默认Spark构建中包含所有配置单元的依赖项。如果这些依赖关系对应用程序来说不是问题,则建议使用
HiveContext

但是,如果您只是编写没有任何集群的Spark,那么Spark 1.x是没有任何限制的,您应该使用Spark 2.x,它具有
SparkSession
作为SQL相关内容的入口点



EclipseIDE应该无关紧要。你也可以使用IntelliJ。。。或者没有IDE和spark提交任何包含spark代码的JAR文件…

谢谢!我有点困惑,因为我现在正在学习spark。我想知道的是使用spark框架创建和使用一个配置单元表。运行Spark代码本身不需要群集,不需要。