Apache spark spark是否能够从拼花文件中读取满足某些条件的列值？

我有密码

val count=spark.read.parquetdata.parquet.selectfoo.wherefoo>3.count

---

我感兴趣的是spark是否能够以某种方式按下过滤器，并从拼花地板文件中只读取满足where条件的值。在这种情况下，我们可以避免完全扫描吗？

在这种情况下，简短的回答是肯定的，但不是所有的情况

你可以试试，自己解释看看

---

这是一个很好的参考文件，可以在互联网上免费获得，我以前从中学到了一些东西：

请参考@thebluephantom..谢谢分享这么好的链接。我对拼花地板还不熟悉，它帮了我一把，这是一本很好的读物。如果你认为答案是可以的，你需要接受勾号。如果可以，我希望我不是这个问题的所有者。因此，刚刚投票：是的，的确，这是经过深思熟虑的。