Java SPARK中DELETE和UPDATE语句的备选方案

Java SPARK中DELETE和UPDATE语句的备选方案,java,apache-spark,apache-spark-sql,apache-spark-2.0,Java,Apache Spark,Apache Spark Sql,Apache Spark 2.0,我正在使用Java语言将Java批处理转换为spark 应用程序的现有代码包含许多使用JDBC的delete和update语句 根据各种stackoverflow答案和其他网站上提供的信息,目前sparkSQL没有任何功能来运行删除或更新查询 我可以在spark代码中使用JDBC,但它不会降低应用程序的性能吗 在SPARK中使用DELETE/UPDATEstatemets还有其他选择吗 我正在使用SPARK版本:2.3.0 我找不到与此相关的任何信息,因此提出了这个信息丰富的问题。请等待,直到您

我正在使用Java语言将Java批处理转换为spark

应用程序的现有代码包含许多使用JDBC的delete和update语句

根据各种stackoverflow答案和其他网站上提供的信息,目前sparkSQL没有任何功能来运行删除更新查询

我可以在spark代码中使用JDBC,但它不会降低应用程序的性能吗

在SPARK中使用DELETE/UPDATEstatemets还有其他选择吗

我正在使用SPARK版本:2.3.0


我找不到与此相关的任何信息,因此提出了这个信息丰富的问题。

请等待,直到您尝试在spark代码中使用JDBC来删除或更新。通常的方法是使用带有筛选器的select创建一个新表,以删除您要删除的行,并更新您要从原始表更新的行。@Elliott Frisch好的,那么您是说在spark代码中使用JDBC是可以的?我一定会试试的,谢谢。我真的在逗你,使用jdbc不会突然让更新和删除工作。但是一定要试试。@ElliottFrisch好的:)@ElliottFrisch更新查询在当前应用程序中非常复杂(多个连接、内部查询和许多条件),这就是为什么我不确定您在第一条评论中提到的一般更新方法是否有效的原因。