Scala 可以在Eclipse IDE中的Spark上运行配置单元吗?
我一直在尝试使用Apache Spark框架开发Spark程序。Scala 可以在Eclipse IDE中的Spark上运行配置单元吗?,scala,hadoop,apache-spark,hive,Scala,Hadoop,Apache Spark,Hive,我一直在尝试使用Apache Spark框架开发Spark程序。 我想在没有任何集群的情况下实例化HiveContext。 是否可以使用HiveContext并通过EclipseScalaIDE在本地运行它,而不使用任何集群?简单地说是吗?当然(增加重点) 要使用HiveContext,不需要现有的配置单元设置,并且SQLContext可用的所有数据源仍然可用 但是,您需要编译一些额外的代码 HiveContext仅单独打包,以避免在默认Spark构建中包含所有配置单元的依赖项。如果这些依赖关系
我想在没有任何集群的情况下实例化
HiveContext
。是否可以使用
HiveContext
并通过EclipseScalaIDE在本地运行它,而不使用任何集群?简单地说是吗?当然(增加重点)
要使用HiveContext
,不需要现有的配置单元设置,并且SQLContext
可用的所有数据源仍然可用
但是,您需要编译一些额外的代码
HiveContext
仅单独打包,以避免在默认Spark构建中包含所有配置单元的依赖项。如果这些依赖关系对应用程序来说不是问题,则建议使用HiveContext
但是,如果您只是编写没有任何集群的Spark,那么Spark 1.x是没有任何限制的,您应该使用Spark 2.x,它具有SparkSession
作为SQL相关内容的入口点
EclipseIDE应该无关紧要。你也可以使用IntelliJ。。。或者没有IDE和spark提交任何包含spark代码的JAR文件…谢谢!我有点困惑,因为我现在正在学习spark。我想知道的是使用spark框架创建和使用一个配置单元表。运行Spark代码本身不需要群集,不需要。