Apache spark 与oozie合作
我写了一个火花代码-Apache spark 与oozie合作,apache-spark,oozie,Apache Spark,Oozie,我写了一个火花代码- customDF.registerTempTable("customTable") var query = "select date, id ts,errorode from customTable" val finalCustomDF = hiveContext.sql(query) finalCustomDF.write.format("com.databricks.spark.csv").save("/user/oozie/data") 当我使用spark
customDF.registerTempTable("customTable")
var query = "select date, id ts,errorode from customTable"
val finalCustomDF = hiveContext.sql(query)
finalCustomDF.write.format("com.databricks.spark.csv").save("/user/oozie/data")
当我使用spark submit运行此代码时,它运行良好,但当我使用oozie coordinator运行它时。我得到以下例外
User class threw exception: org.apache.spark.sql.AnalysisException: character '<EOF>' not supported here; line 1 pos 111
我已尝试从现有配置单元表中读取数据,但问题在于customTable。AnalysisException在查询无法分析时引发,通常是因为查询本身无效。首先,您应该确保spark可以正常读取表。其次,var query=选择日期、id、时间戳,我认为customTable中的errorode.Side注释:timestamp在SQL中是一个保留字,所以将其用作列名或列别名是非常不明智的;另外,我系统地使用as关键字来定义列别名,只是因为它更容易阅读上面的cf.comment…-但这可能不是导致错误消息的原因。@Wang我正在注册上面的临时表并尝试使用它,看起来您在id和ts之间缺少一个逗号。您是否尝试将其添加到中,并查看它是否有效?