Apache spark 使用Spark在BQ中选择_PARTITIONTIME列

我正在尝试使用PySpark读取BQ数据集。并且需要将

\u PARTITIONTIME

作为输出数据帧中的列。我正在尝试以下命令：

val df = spark.read.format("bigquery")
  .option("filter", "_PARTITIONDATE > '2019-01-01'")
  ...
  .load(TABLE)

但是，我没有在输出中看到

\u PARTITIONTIME

。有人能告诉我怎么做吗？ 我知道从Spark运行BQSQL是一种选择。我可以在上面添加任何选项吗？

---

找不到任何内容

我认为spark不支持伪列，因此您将无法读取它，只能通过它进行筛选。