Apache spark 无法在MacOSx上运行pyspark 3.0.0或pyspark 2.4.6（代码在linux上运行）

我正在运行的python代码：

# read input data -- search data for departure months (columns) across shopping days (rows)
df = pd.read_csv('test_arima_states_input.csv', header=0)

# format date columns
df['date'] = pd.to_datetime(df.date, format='%m/%d/%Y')
df['date'] = df['date'].dt.strftime('%m/%d/%Y')
state_data = df[['State', 'date', 'Jul-20']]

spark_df = spark.createDataFrame(state_data)

results = spark_df.groupby('State').apply(run_arima_fcst)

results.show()

不管我怎么做，这个错误总是不断地出现

py4j.protocol.Py4JJavaError: An error occurred while calling o59.showString.
: java.lang.IllegalAccessError: class io.netty.buffer.UnsafeDirectLittleEndian cannot access 
its superclass io.netty.buffer.WrappedByteBuf

---

我已经多次重新安装python和pyspark以及所有pip软件包。除了Java 8版本之外，我的机器上没有任何其他JDK。

解决方法是清除Mac并从头开始重新安装。

有点过分。

你能添加完整的堆栈跟踪或错误日志吗？