有没有办法使用spark_write_csv在SparkyR中为csv文件设置名称?

有没有办法使用spark_write_csv在SparkyR中为csv文件设置名称?,r,sparklyr,R,Sparklyr,我需要将数据帧写入单个csv文件,并发现我可以使用sdf_coalesce()将文件转换为单个分区。我想知道是否有任何方法可以更改由spark\u write\u csv()生成的csv文件的名称 提前感谢。否。文件名是自动生成的,在不同的任务中是唯一的,不可配置。如果您想要特定的名称,您必须在使用中的文件系统/存储解决方案之后使用特定的实用程序重命名输出。您不能在path参数中执行此操作,就像您在readr::write_csv中执行此操作一样,因为spark处理分布式计算,它倾向于生成与数据

我需要将数据帧写入单个csv文件,并发现我可以使用
sdf_coalesce()
将文件转换为单个分区。我想知道是否有任何方法可以更改由
spark\u write\u csv()
生成的csv文件的名称


提前感谢。

否。文件名是自动生成的,在不同的任务中是唯一的,不可配置。如果您想要特定的名称,您必须在使用中的文件系统/存储解决方案之后使用特定的实用程序重命名输出。

您不能在
path
参数中执行此操作,就像您在
readr::write_csv
中执行此操作一样,因为spark处理分布式计算,它倾向于生成与数据的每个分区相对应的分区文件,coalesce意味着将所有数据分组到一个分区中,这样就可能耗尽内存。