PostgreSQL计数高于Spark SQL

PostgreSQL计数高于Spark SQL,postgresql,apache-spark,hadoop,Postgresql,Apache Spark,Hadoop,当我尝试使用Spark Scala为PostgreSQL编写数据帧时,我注意到PostgreSQL上的计数总是高于Spark Scala。我希望它是一样的 PostgreSQL写入的Spark是否存在任何问题 写入PostgreSQL val connection="jdbc:postgresql://localhost:5449/adb?user=aschema&password=abc" val prop = new java.util.Properties prop.setPr

当我尝试使用Spark Scala为PostgreSQL编写数据帧时,我注意到PostgreSQL上的计数总是高于Spark Scala。我希望它是一样的

PostgreSQL写入的Spark是否存在任何问题

写入PostgreSQL

val connection="jdbc:postgresql://localhost:5449/adb?user=aschema&password=abc" 
val prop = new java.util.Properties 
prop.setProperty("driver", "org.postgresql.Driver") 
df.write.mode("Overwrite").jdbc(url=  connection, table = "adb.aschema.TABLE", connectionProperties  = prop)
我的读取计数命令给出了准确的计数,但PostgreSQL显示了更高的计数

sqlContext.read.option("compression","snappy")
    .parquet("/user-data/xyz/input/TABLE/").count

代码是什么样子的?如何检查计数?@JacekLaskowski,我使用-->sqlContext.read.option(“compression”、“snapy”).parquet(“/user data/xyz/input/TABLE/”)计算数据。count PostgreSQL呢?您如何向postgresql编写代码?Spark版本是什么?您在写给postgresql的文章中根本没有使用Spark SQL API,因此我将结束您的问题,因为可能有两个原因导致结果不同。请仔细考虑这个问题,并考虑是否将苹果与苹果进行比较。您将
df
写入哪里?或者
df
来自哪里?