Apache spark ApacheSpark是否支持在teradata中持久化数据帧(数据)?
我需要在teradata中持久化数据,我正在使用spark通过jdbc连接实现这一点 但每当我尝试在teradata中持久化dataframe时,每次spark尝试创建一个新表(尽管使用了任何保存模式),表创建操作都会失败 我深入研究,然后发现spark检查表是否存在,是否使用下面的语句Apache spark ApacheSpark是否支持在teradata中持久化数据帧(数据)?,apache-spark,teradata,apache-spark-sql,Apache Spark,Teradata,Apache Spark Sql,我需要在teradata中持久化数据,我正在使用spark通过jdbc连接实现这一点 但每当我尝试在teradata中持久化dataframe时,每次spark尝试创建一个新表(尽管使用了任何保存模式),表创建操作都会失败 我深入研究,然后发现spark检查表是否存在,是否使用下面的语句 Try(conn.prepareStatement(“从$table LIMIT 1中选择1”).executeQuery().next()).issucess Teradata不支持此Limit关键字,因此它
Try(conn.prepareStatement(“从$table LIMIT 1中选择1”).executeQuery().next()).issucess
Teradata不支持此Limit
关键字,因此它会给出错误,spark会将其视为不存在的表,并尝试为每个数据帧写入操作创建新表
在teradata中使用此方法或任何其他方法来持久化dataframe的任何解决方法?对于teradata,适当的语法应该是
从
中选择top 1 1。如果表存在且至少有一行,则基本上返回1。@Andrew,是的,您的语法完全正确,但我在问题中提到的查询是由spark内部生成的。