将pyspark数据帧转换为动态数据帧
我有一个pyspark数据帧。我能够通过将pyspark数据帧转换为动态数据帧,pyspark,aws-glue,pyspark-dataframes,Pyspark,Aws Glue,Pyspark Dataframes,我有一个pyspark数据帧。我能够通过persons.toDF（）将动态数据帧转换为spark数据帧。我想在pyspark中将spark数据帧再次转换回动态数据帧。我想将我的列强制转换为时间戳，然后再次将其转换为动态数据帧以解析选项。 请帮助我您可以使用fromDF函数从数据帧创建动态帧 基本语法 dyf = fromDF(dataframe, glue_ctx, name) 在哪里, dataframe–要转换的Apache Spark SQL数据帧（必需） glue_ctx–GlueC
persons.toDF（）请帮助我您可以使用fromDF函数从数据帧创建动态帧 基本语法
dyf = fromDF(dataframe, glue_ctx, name)
- dataframe–要转换的Apache Spark SQL数据帧（必需）
- glue_ctx–GlueContext类对象，用于指定此转换的上下文（必需）
- name–生成的DynamicFrame的名称（必需）
参考资料：您可以使用fromDF函数从数据帧创建动态帧 基本语法
dyf = fromDF(dataframe, glue_ctx, name)
- dataframe–要转换的Apache Spark SQL数据帧（必需）
- glue_ctx–GlueContext类对象，用于指定此转换的上下文（必需）
- name–生成的DynamicFrame的名称（必需）
参考资料：至少您需要pyspark.context、awsglue.context和awsglue.dynamicframe 例如：
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.dynamicframe import DynamicFrame
sc = SparkContext()
glueContext = GlueContext(sc)
NewDynamicFrame = DynamicFrame.fromDF(persons, glueContext, "nested")
至少您需要pyspark.context、awsglue.context和awsglue.dynamicframe 例如：
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.dynamicframe import DynamicFrame
sc = SparkContext()
glueContext = GlueContext(sc)
NewDynamicFrame = DynamicFrame.fromDF(persons, glueContext, "nested")