使用NiFi从Azure到Google云平台的数据流

我的目标是使用

NiFi

将

json/xml

文件从

Azure

移动到

Google云平台（GCP）

。在我进行了所有的研发工作之后，我发现了一些有帮助的

处理器。名单如下：

获取文件
PutFile
putGCSObject-将数据放入GCP

上述联系是复杂的。那么根据我的目标，我是不是走对了？？我需要额外的处理器吗？？以及定义此流时需要进行的任何重要配置

请帮助我，因为我是一个新手，刚刚开始使用
NiFi
如果我没有弄错你的问题，你的目标是将Azure文件存储中的文件移动到Google云存储。对吗

如果是这样，那么你几乎走上了正确的道路。正如您所提到的，Apache NiFi目前没有Azure文件的处理器，因此请遵循您在此处引用的Microsoft指南，将Azure文件装载到您的Linux机器上，并创建如下流程：
ListFile->FetchFile->PutGCSObject

GetFile或任何Get*处理器都是传统的，新的列表/获取模式非常好，因为它可以帮助您进行状态跟踪等

顺便说一句，您不需要
PutFile
，因为该处理器的目标是将文件写入本地文件系统，但我们将GCS作为我们的接收器来处理。
如果我没有弄错您的问题，您的目标是将Azure文件存储中的文件移动到Google云存储。对吗

如果是这样，那么你几乎走上了正确的道路。正如您所提到的，Apache NiFi目前没有Azure文件的处理器，因此请遵循您在此处引用的Microsoft指南，将Azure文件装载到您的Linux机器上，并创建如下流程：
ListFile->FetchFile->PutGCSObject

GetFile或任何Get*处理器都是传统的，新的列表/获取模式非常好，因为它可以帮助您进行状态跟踪等

顺便说一句，您不需要
PutFile
，因为该处理器的目标是将文件写入本地文件系统，但我们将GCS作为接收器来处理。
是的，您说得对。那么，我需要在哪里添加GCP的凭据？？我是否需要在定义PutGCSObject或其他位置时输入它？？listfile和fetch file之间的区别是什么？？与getfile一样，获取文件本身。您必须使用凭据配置
GCPCredentialsControllerService
，并配置
PutGCSObject
处理器以使用此控制器服务。ListFile只提供文件的元数据，如大小、文件名、类型等，FetchFile是使用ListFile处理器提供的元数据实际提供文件内容的文件。简言之，Get*处理器不支持集群（数据的直观分布），而List*/Fetch*在集群中很好。查看这个博客：太酷了。非常感谢你。我将浏览这个博客，并从流程开始：）是的，你说得对。那么，我需要在哪里添加GCP的凭据？？我是否需要在定义PutGCSObject或其他位置时输入它？？listfile和fetch file之间的区别是什么？？与getfile一样，获取文件本身。您必须使用凭据配置
GCPCredentialsControllerService
，并配置
PutGCSObject
处理器以使用此控制器服务。ListFile只提供文件的元数据，如大小、文件名、类型等，FetchFile是使用ListFile处理器提供的元数据实际提供文件内容的文件。简言之，Get*处理器不支持集群（数据的直观分布），而List*/Fetch*在集群中很好。查看这个博客：太酷了。非常感谢你。我将浏览这个博客，并从流程开始：）