Python PySpark多线程读取Py4JNetworkError:来自Java端的答案为空
在PySpark中使用jdbc从Snowflake并行读取数据时，我一直遇到以下错误。 当使用非常少的线程（例如50个）时，它可以正常工作，但在100个左右的线程以北出现。 集群拥有巨大的资源6k c/40T。 我尝试过使用配置，但没有PnC的帮助。下面分别是错误、spark配置和代码Python PySpark多线程读取Py4JNetworkError:来自Java端的答案为空,python,pyspark,Python,Pyspark,在PySpark中使用jdbc从Snowflake并行读取数据时，我一直遇到以下错误。 当使用非常少的线程（例如50个）时，它可以正常工作，但在100个左右的线程以北出现。 集群拥有巨大的资源6k c/40T。 我尝试过使用配置，但没有PnC的帮助。下面分别是错误、spark配置和代码