Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 与oozie合作_Apache Spark_Oozie - Fatal编程技术网

Apache spark 与oozie合作

Apache spark 与oozie合作,apache-spark,oozie,Apache Spark,Oozie,我写了一个火花代码- customDF.registerTempTable("customTable") var query = "select date, id ts,errorode from customTable" val finalCustomDF = hiveContext.sql(query) finalCustomDF.write.format("com.databricks.spark.csv").save("/user/oozie/data") 当我使用spark

我写了一个火花代码-

customDF.registerTempTable("customTable")
var query = "select date, id ts,errorode from customTable"
val finalCustomDF = hiveContext.sql(query)     
finalCustomDF.write.format("com.databricks.spark.csv").save("/user/oozie/data")
当我使用spark submit运行此代码时,它运行良好,但当我使用oozie coordinator运行它时。我得到以下例外

User class threw exception: org.apache.spark.sql.AnalysisException: character '<EOF>' not supported here; line 1 pos 111 

我已尝试从现有配置单元表中读取数据,但问题在于customTable。

AnalysisException在查询无法分析时引发,通常是因为查询本身无效。首先,您应该确保spark可以正常读取表。其次,var query=选择日期、id、时间戳,我认为customTable中的errorode.Side注释:timestamp在SQL中是一个保留字,所以将其用作列名或列别名是非常不明智的;另外,我系统地使用as关键字来定义列别名,只是因为它更容易阅读上面的cf.comment…-但这可能不是导致错误消息的原因。@Wang我正在注册上面的临时表并尝试使用它,看起来您在id和ts之间缺少一个逗号。您是否尝试将其添加到中,并查看它是否有效?