Pandas 哪个spark内存设置用于udf执行_Pandas_Pyspark_User Defined Functions

Pandas 哪个spark内存设置用于udf执行

pandas pyspark

Pandas 哪个spark内存设置用于udf执行,pandas,pyspark,user-defined-functions,Pandas,Pyspark,User Defined Functions,执行器的内存是以下各项的总和（）执行pandas\u udf功能时使用哪一个如果数据大小适中（每个分区3000~50MB）且具有高级udf功能，在OOM错误的情况下，应首先考虑哪个内存 spark.executor.memory spark.executor.memoryOverhead spark.executor.pyspark.memory

执行器的内存是以下各项的总和（）

执行

pandas\u udf

功能时使用哪一个

如果数据大小适中（每个分区3000~50MB）且具有高级udf功能，在OOM错误的情况下，应首先考虑哪个内存

spark.executor.memory
spark.executor.memoryOverhead
spark.executor.pyspark.memory