Scala 使用toDF将DynamicFrame转换为Spark数据帧时出错

Scala 使用toDF将DynamicFrame转换为Spark数据帧时出错,scala,amazon-web-services,apache-spark,aws-glue,Scala,Amazon Web Services,Apache Spark,Aws Glue,我声明使用AWS Glue通过数据目录和GlueContext读取数据,并根据需求进行转换 val spark: SparkContext = new SparkContext() val glueContext: GlueContext = new GlueContext(spark) val sparkSession = glueContext.getSparkSession // Data Catalog: database and table name val dbName = "abc

我声明使用AWS Glue通过数据目录和GlueContext读取数据,并根据需求进行转换

val spark: SparkContext = new SparkContext()
val glueContext: GlueContext = new GlueContext(spark)
val sparkSession = glueContext.getSparkSession
// Data Catalog: database and table name
val dbName = "abcdb"
val tblName = "xyzdt_2017_12_05"

// S3 location for output
val outputDir = "s3://output/directory/abc"

// Read data into a DynamicFrame using the Data Catalog metadata
val stGBDyf = glueContext.getCatalogSource(database = dbName, tableName = tblName).getDynamicFrame()
val revisedDF = stGBDyf.toDf() // This line getting error 
在执行上述代码时,我遇到了以下错误:

错误:语法错误:错误:值toDf不是的成员 com.amazonaws.services.glue.DynamicFrame val ReviedDF= stGBDyf.toDf发现一个错误

我按照示例将DynamicFrame转换为Spark数据帧。
请建议解决此问题的最佳方法。

有输入错误。在toDF中使用资本F时,它应该可以正常工作:

val revisedDF = stGBDyf.toDF()

嘿,这不相关,但是您是否尝试过直接读取数据库而不通过JDBC对其进行爬网?如果是,请共享示例代码如何在Scala中将数据帧转换为动态帧?@RudreshAjgaonkar您需要执行val ReviedDynamicFrame=DynamicFrameReviedDF,glueContext并导入com.amazonaws.services.glue.{DynamicRecord,glueContext,DynamicFrame}