有没有办法使用pyspark将数据帧从azure DataRicks写入azure data lake
我正在尝试将数据帧从DataRicks写入azure DataLake gen2 我有一个有800万条记录的数据框 我正在使用df..repartition（1）.write.mode（“overwrite”）.option（“header”，“true”）.format（“com.databricks.spark.csv”）.save（'/mnt/abc/'）） 写一个文件大约需要1/2个小时。有没有更好的方法将数据帧写入ADL有没有办法使用pyspark将数据帧从azure DataRicks写入azure data lake,pyspark,Pyspark,我正在尝试将数据帧从DataRicks写入azure DataLake gen2 我有一个有800万条记录的数据框 我正在使用df..repartition（1）.write.mode（“overwrite”）.option（“header”，“true”）.format（“com.databricks.spark.csv”）.save（'/mnt/abc/'）） 写一个文件大约需要1/2个小时。有没有更好的方法将数据帧写入ADL