Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scala IntelliJ中的代码错误,但在Databricks笔记本上运行良好_Scala_Apache Spark_Intellij Idea_Databricks_Databricks Connect - Fatal编程技术网

Scala IntelliJ中的代码错误,但在Databricks笔记本上运行良好

Scala IntelliJ中的代码错误,但在Databricks笔记本上运行良好,scala,apache-spark,intellij-idea,databricks,databricks-connect,Scala,Apache Spark,Intellij Idea,Databricks,Databricks Connect,我在IntelliJ上使用Scala API开发Spark代码,当我运行此代码时,我会发现以下错误,但在Databricks笔记本上运行良好 我正在使用Databricks Connect将IntelliJ的本地安装连接到Databricks Spark群集。我已连接到群集,并且能够将作业从IntelliJ提交到群集。阿摩夫,除了下面的那一块,其他的都能用 DBConnect是6.1,Databricks运行时是6.2 从集群导入jar文件(使用Databricks connect get ja

我在IntelliJ上使用Scala API开发Spark代码,当我运行此代码时,我会发现以下错误,但在Databricks笔记本上运行良好

我正在使用Databricks Connect将IntelliJ的本地安装连接到Databricks Spark群集。我已连接到群集,并且能够将作业从IntelliJ提交到群集。阿摩夫,除了下面的那一块,其他的都能用

DBConnect是6.1,Databricks运行时是6.2 从集群导入jar文件(使用Databricks connect get jar dir)并在项目库中使用jar设置SBT项目

源代码:

val sparkSession = SparkSession.builder.getOrCreate()
val sparkContext = sparkSession.sparkContext

import sparkSession.implicits._

val v_textFile_read = sparkContext.textFile(v_filename_path)
v_textFile_read.take(2).foreach(println)
错误:

cannot assign instance of scala.Some to field org.apache.spark.rdd.RDD.org$apache$spark$rdd$RDD$$dependencies_ of
type scala.collection.Seq in instance of org.apache.spark.rdd.HadoopRDD
我将RDD读取器用于文本的原因是,我可以将此输出传递给createDataFrame API。如您所知,createdataframe API接受RDD和模式作为输入参数

第一步:
val v_RDD_textFile\u read=sparkContext.textFile(v_filename\u path).map(x=>MMRSplitRowIntoStrings(x))


第二步:
val v_DF_textFile_read=sparkSession.sqlContext.createDataFrame(v_RDD_textFile_read,v_schema)
(编辑

导入spark.implicits.\u
?我也尝试导入implicits库,但不起作用。当你说它不起作用时…实际发生了什么…它不编译还是不运行?什么是
v\u filename\u path
?还有导致此错误的行是什么?你可以在IntelliJ usin中创建spark会话g下面的代码
implicit val ss:SparkSession=spark implicit val ut:DBUtilsV1=dbutils