Apache spark pyspark配置单元表未读取配置单元表的所有行

我正在pyspark中使用hive llap（）读取hive内部表，如下所示：

df = hive.table(<tableName>)

---

我刚刚得到750万作为计数，这是错误的

您可能需要刷新spark metastore，它没有使用hive metastore，并且统计数据可能已经过时

您可以按如下方式刷新pyspark元存储：

spark.sql("REFRESH TABLE <TABLE_NAME>")

spark.sql（“刷新表”）

答案有用吗？

spark.sql("REFRESH TABLE <TABLE_NAME>")