在linux机器上使用s3a失败原因>；100柱拼花地板

我正在使用s3a将数据库中的数据读取到dataframe中，然后写入.parquet（s3a://bucketname//folder）。 它适用于约100列。如果这是列限制/版本问题/内存问题，则找不到任何资料？ 希望能从经验丰富的社区中找到一些方向

下面的代码在本地机器上的EclipseWindows上运行，但在linux实例上出现问题

spark版本-2.4.0-cdh6.3.3 scala版本-2.11.12 Java版本-1.8

def execute(sql:String) = {//defined connection }
val df_sql = ("select * from sampletable")
val df_exe = execute(df_sql)
df_exe.write.parquet(s3a://bucketname/folder)

---

找到答案，以防有人提出这个问题。 调用spark submit时，增加驱动程序内存以适合正在写入的文件的1个分区。我用了16克