Amazon web services 使用AWS Lambda将.txt文件转换为.csv文件

Amazon web services 使用AWS Lambda将.txt文件转换为.csv文件,amazon-web-services,aws-lambda,aws-glue,Amazon Web Services,Aws Lambda,Aws Glue,我试图使用AWS DataBrew来清理和规范掉到S3存储桶中的传入数据。然而,我从客户机收到的大多数数据都是.txt格式的,DataBrew不接受该格式作为输入格式 因此,我正在寻找一种方法来自动将传入的.txt文件转换为.csv文件,以便DataBrew可以处理这些文件。我最初的想法是AWS Lambda可能最适合这份工作 我可以想象,我不是第一个遇到这个问题的人,因此,我非常感谢能够提供的任何帮助。如果有人开发了一个Lambda函数可以实现这一点,我将非常感谢您分享您的代码 或者,如果有一

我试图使用AWS DataBrew来清理和规范掉到S3存储桶中的传入数据。然而,我从客户机收到的大多数数据都是.txt格式的,DataBrew不接受该格式作为输入格式

因此,我正在寻找一种方法来自动将传入的.txt文件转换为.csv文件,以便DataBrew可以处理这些文件。我最初的想法是AWS Lambda可能最适合这份工作

我可以想象,我不是第一个遇到这个问题的人,因此,我非常感谢能够提供的任何帮助。如果有人开发了一个Lambda函数可以实现这一点,我将非常感谢您分享您的代码

或者,如果有一种更简单的方法来处理AWS DataBrew中的.txt文件,我欢迎提供任何见解

首先,AWS DataBrew to.txt文件没有解决方法 格式。我们可以看到AWS的输入格式 通过DataBrew识别

是的,您可以通过lambda将.File转换为CSV,如下所示

const fs = require('fs');

csv()
.from(fs.createReadStream('./test.txt'))
.to(fs.createWriteStream('./file.csv'))

对于此操作,您可以签出此文档。这将帮助您覆盖.txt文件中存在的任何类型的数据。

编写一个基于Java的Lambda函数,获取txt文件并将其转换为CSV。例如,请参阅。这将提供您正在寻求的解决方案。