Azure data factory Azure数据工厂在单个文件中拆分多个JSON对象
我正在使用Azure Data Factory监视AWS S3存储桶,该存储桶将包含由AWS进程写入的JSON对象的文件。该过程可以将多个JSON对象合并到一个文件中,对象之间没有CRLF或分隔符。我需要Azure Data Factory单独处理这些对象中的每一个,以将它们插入SQL数据库。我没有找到任何关于如何处理这种情况的例子。抱歉,如果这在Azure Data Factory中是非常基本的,但是,我对该产品还是比较陌生的 以下是文件格式的示例:Azure data factory Azure数据工厂在单个文件中拆分多个JSON对象,azure-data-factory,azure-data-factory-2,Azure Data Factory,Azure Data Factory 2,我正在使用Azure Data Factory监视AWS S3存储桶,该存储桶将包含由AWS进程写入的JSON对象的文件。该过程可以将多个JSON对象合并到一个文件中,对象之间没有CRLF或分隔符。我需要Azure Data Factory单独处理这些对象中的每一个,以将它们插入SQL数据库。我没有找到任何关于如何处理这种情况的例子。抱歉,如果这在Azure Data Factory中是非常基本的,但是,我对该产品还是比较陌生的 以下是文件格式的示例: { "AWSInfoField
{
"AWSInfoField1": "Test Record 1",
"AWSInfoField2": "Just Another Field",
"Attributes": {
"Attribute1": 1,
"Attribute2": "Another Attribute"
}
}
{
"AWSInfoField1": "Test Record 2",
"AWSInfoField2": "Just Another Field In Record 2",
"Attributes": {
"Attribute1": 2,
"Attribute2": "Another Attribute In Record 2"
}
}
{
"AWSInfoField1": "Test Record 3",
"AWSInfoField2": "Just Another Field In Record 3",
"Attributes": {
"Attribute1": 3,
"Attribute2": "Another Attribute In Record 3"
}
}
我将数据复制到存储器中的单个文件中(,对象之间没有CRLF或分隔符): 我尝试并发现数据工厂将自动将默认分隔符“,”添加到源中的JSON数据中。我们可以在源数据预览中看到它: 然后选择SQL数据库作为接收器,并将数据映射到接收器表: 运行管道并检查表中的数据:
Hi@TimWagaman,很抱歉迟了回复您。我测试并发现数据工厂将自动向JSON数据添加默认分隔符“”。你可以按照我的步骤回答。如果我的回答对你有帮助,希望你能接受我的回答。这可能对其他社区成员有益。如果您有任何其他问题,请让我知道,谢谢!