Google cloud platform GCP Data Fusion Azure blob存储配置传输多个文件

我正在尝试通过数据融合管道将多个csv文件从Azure存储容器传输到GCP存储桶

通过提及Azure blob存储配置的“路径”字段的以下路径（特定CSV文件的完整路径），我可以成功地传输单个文件 wasbs://containername@storageaccountname.blob.core.windows.net/CSVFile.csv

但是，当我试图从“containerName”容器传输多个文件时，“path”下面的文件不起作用（这里我没有在“/”后面提到任何文件名，因为我需要传输此容器下的所有文件）

"wasbs://containername@storageaccountname.blob.core.windows.net/'

它正在引发异常，因为“Spark程序”阶段1”失败，但未找到错误：/。有关详细信息，请查看系统日志'

在这里，我使用“SAS令牌”进行身份验证，该令牌是在容器级别生成的，对于完整路径文件来说非常有效

GCP管道中是否有Forloop选项来迭代文件？ 提前谢谢

---

编辑： 在容器级别生成的SAS令牌不适用于路径“/”。 在存储帐户级别生成的SAS令牌可以拾取该目录下的所有文件。 但它将所有文件数据合并到一个文件中（在GC存储中生成）

---

任何人都可以帮助了解如何单独传输文件？感谢

Srini V：从错误消息中很难确定管道故障的根本原因。您能检查管道日志并复制/粘贴整个堆栈跟踪吗？这将有助于调试该问题。@AjaiI已检查日志跟踪，并注意到它正在为1个文件工作。对于多个文件，由于我跳过了“/”之后的文件名，因此它不起作用。我可能需要使用for each循环遍历该目录下的文件。你能分享你的想法吗？你能分享你在日志中看到的东西吗？我不确定管道在目录下运行时会出现什么故障。该插件的文档提到使用glob读取目录下的文件。如果您可以提供在运行pipeline@Ajail以下是跟踪日志：04/20/2021 14:56:35信息管道“be3e2e8c-a194-11eb-95d3-aa0f99b0091d”由用户“root”启动，参数为{logical.start.time=1618894592172，system.profile.name=system:dataproc}2021年4月20日14:56:35信息管道“be3e2e8c-a194-11eb-95d3-aa0f99b0091d”正在运行2021年4月20日14:56:54错误火花程序“阶段-1”失败，但未找到错误：/。请查看系统日志以了解更多详细信息。2021年4月20日14:56:54错误管道“be3e2e8c-a194-11eb-95d3-aa0f99b0091d”失败。Srini-我知道您已经在原始问题中提供了此错误。日志以“查看系统日志了解更多详细信息”结尾。。您可以检查appfabric日志以查看相应的堆栈跟踪吗？这将为我们提供更多有关故障发生位置的信息。同时，我将尝试用自定义azure设置在本地重新编程