AWS胶水作业-CSV至拼花地板。如何忽略标题?

AWS胶水作业-CSV至拼花地板。如何忽略标题?,csv,parquet,aws-glue,Csv,Parquet,Aws Glue,我需要将一堆(23)CSV文件(源s3)转换为拼花格式。输入CSV包含所有文件中的标题。当我用胶水生成代码时。输出包含22个标题行,也在单独的行中,这意味着它忽略了第一个标题。我需要帮助在执行此转换时忽略所有标题 因为我正在使用from_catalog函数进行输入,所以我没有任何format_选项来忽略标题行 另外,我可以在粘合表中设置一个选项,使文件中存在头吗?当我的作业运行时,它会自动忽略标题吗 下面是我当前方法的一部分。我对胶水不熟悉。这段代码实际上是由Glue自动生成的 datasour

我需要将一堆(23)CSV文件(源s3)转换为拼花格式。输入CSV包含所有文件中的标题。当我用胶水生成代码时。输出包含22个标题行,也在单独的行中,这意味着它忽略了第一个标题。我需要帮助在执行此转换时忽略所有标题

因为我正在使用
from_catalog
函数进行输入,所以我没有任何
format_选项来忽略标题行

另外,我可以在粘合表中设置一个选项,使文件中存在头吗?当我的作业运行时,它会自动忽略标题吗

下面是我当前方法的一部分。我对胶水不熟悉。这段代码实际上是由Glue自动生成的

datasource0 = glueContext.create_dynamic_frame.from_catalog(database = "my_datalake", table_name = "my-csv-files", transformation_ctx = "datasource0")

datasink1 = glueContext.write_dynamic_frame.from_options(frame = datasource0, connection_type = "s3", connection_options = {"path": "s3://my-bucket-name/full/s3/path-parquet"}, format = "parquet", transformation_ctx = "datasink1")