Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/amazon-web-services/12.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon web services AWS Glue数据目录的头文件_Amazon Web Services_Amazon S3_Hiveql_Aws Glue - Fatal编程技术网

Amazon web services AWS Glue数据目录的头文件

Amazon web services AWS Glue数据目录的头文件,amazon-web-services,amazon-s3,hiveql,aws-glue,Amazon Web Services,Amazon S3,Hiveql,Aws Glue,我有一些s3中的数据,我想使用AWS Glue来爬网并存储在数据目录中。我遇到的问题是数据本身没有标题行。相反,有一个单独的头文件(“header.csv”)。有没有办法让AWS Glue使用header.csv文件来获取列名?否则,数据目录将显示列名为“col0”、“col1”,。。。“科恩” i、 e.我有以下数据: s3://bucket/data/animals/header.csv "id","animaltype","age" s3://bucket/data/animals/da

我有一些s3中的数据,我想使用AWS Glue来爬网并存储在数据目录中。我遇到的问题是数据本身没有标题行。相反,有一个单独的头文件(“header.csv”)。有没有办法让AWS Glue使用header.csv文件来获取列名?否则,数据目录将显示列名为“col0”、“col1”,。。。“科恩”

i、 e.我有以下数据:

s3://bucket/data/animals/header.csv

"id","animaltype","age"
s3://bucket/data/animals/data.csv

"1","cat","5"
"2","dog","2"
"3","otter","7"

恐怕爬虫程序无法从另一个文件获取头信息

但是,您可以编写粘合作业来重命名列

df=dyf.toDF()
oldColumns=df.schema.names
newColumns=#来自头文件的列数
df=减少(λdf,idx: df.withColumnRename(oldColumns[idx],newColumns[idx]),xrange(len(oldColumns)),df)