Pyspark Spark SQL库

我们刚刚有人告诉我们，由于可靠性，我们应该避免在Databricks中使用Spark SQL库。我从来没有遇到过使用该库的问题（尽管我还处于spark/Databricks的新手阶段），有谁能澄清一下，或者他们是在试图引导我们走上一条花园之路吗？

spark SQL是一个用于结构化数据处理的spark模块。它提供了一个称为DataFrames的编程抽象，还可以充当分布式SQL查询引擎。 它基于，并被用作Apache Spark模块

Spark SQL还包括一个基于成本的优化器、列存储和代码生成，以加快查询速度。同时，它可以使用Spark引擎扩展到数千个节点和多小时查询，从而提供完整的中间查询容错能力，而不必担心对历史数据使用不同的引擎

因此，不要担心在项目中使用它。这是一个高度成熟且经过战斗考验的库