Apache spark 在写入snowflake之前，是否必须将glue dynamic frame转换为spark dataframe？

在写入snowflake之前，是否始终需要将glue dynamic frame转换为spark dataframe？我在任何地方都找不到别的办法。2000万条记录的转换占用了大部分时间。写作只需要2分钟

---

有没有人这样做过，比如直接将动态帧写入snowflake？还了解到AWS Glue不支持JDBC连接到Snowflake。因此，在作业参数中提供连接详细信息。

Glue不直接支持雪花。您正在使用胶水本机转换吗？如果是，您是否先尝试写入s3，然后从那里加载它？如果没有，那么只需读取spark dataframe，并在bewtween？Hi Prabhakar中不使用dynamicframe写入，我正在从glue数据目录读取glue dynamic frame。进行一些本地转换。转换为spark数据帧。做一些火花转换。是否可以将数据从glue data catalog直接加载到spark dataframe？您应该尝试使用spark sql将数据从catalog加载到dataframe