Postgresql 在Spark 2.x的JDBC中设置fetchSize?
获取大小错误: TypeError:jdbc()获得意外的关键字参数“fetchSize” 我试着像你一样读书Postgresql 在Spark 2.x的JDBC中设置fetchSize?,postgresql,apache-spark,jdbc,Postgresql,Apache Spark,Jdbc,获取大小错误: TypeError:jdbc()获得意外的关键字参数“fetchSize” 我试着像你一样读书 mydf = spark.read.jdbc(url, table, numPartitions=20, column=partitionColumn, lowerBound=0, upperBound=1000, fetchSize = 10000, properties=properties) 我不确定性能,但请尝试下面的代码。这不会抛出错误 df = (spark.read.f
mydf = spark.read.jdbc(url, table, numPartitions=20, column=partitionColumn, lowerBound=0, upperBound=1000, fetchSize = 10000, properties=properties)
我不确定性能,但请尝试下面的代码。这不会抛出错误
df = (spark.read.format("jdbc").option("url", url)
.option("dbtable", "mytable")
.option("user", user) .option("password", password)
.option("numPartitions", "100").option("fetchsize","10000")
.option("partitionColumn", "id")
.option("lowerBound", "1").option("upperBound","1000000").load())
你两小时前被问到是巧合吗?