Azure函数（C#）：如何将大量文件从blob容器A复制到另一个blob容器B？（功能在10分钟内超时）

希望使用Azure函数将大量文件从blob容器A复制到另一个blob容器B。但是，由于函数超时，将面临缺少复制文件的问题。有什么方法可以巧妙地恢复它吗？在源blob存储上是否有任何指示，表明之前已复制/处理过，以便下一个函数可以跳过复制

希望使用Azure函数从blob复制大量文件 容器A连接到另一个blob容器B。但是，缺少 由于函数超时，正在复制文件

您可以通过更改计划级别来避免此超时问题。例如，如果您使用应用程序服务计划并启用“始终打开”，则不会再有超时限制。但老实说，如果您有很多文件，并且需要很长时间，那么azure函数不是推荐的方法（该函数执行的任务应该是轻量级的）

在源blob存储上是否有标识 之前复制/处理过，以便下一个函数可以跳过复制

---

是的，当然可以。只需在复制blob后添加其自定义元数据。下次复制文件时，可以先检查自定义元数据。

这是一个很大的问题。你可以：

抄袭自。AZ CLI或azcopy或.NET SDK（可扩展到其他语言SDK）

使用存储资源管理器

按照鲍曼的建议使用

[mis]使用Databricks，尤其是在处理大量数据且需要可扩展性的情况下

#1和2将使用本地机器的互联网带宽（下载到本地，然后上传），而3、4、5将完全在云中。所以，若你们的源和目的地在同一个区域，那个么对于1和2你们将结束，而对于3、4和5你们将不会结束

---

Azure函数复制文件可能是你能做的最糟糕的事情。Azure函数的成本与执行时间（和内存使用）成正比。在这种情况下（因为需要10分钟以上），我假设您正在移动大量数据，因此您将为Azure功能付费，因为它正在等待I/O完成文件传输。

Hi@Bowman，谢谢您的建议。您希望推荐使用什么Azure材料来复制大量可能需要很长时间的文件？@DaiKeung您以前使用过Azure Data Factory吗？它就是为了这个。@DaiKeung我以前没有使用Azure数据工厂，谢谢你的帮助。我们在谈论多少数据？这是一次性的还是重复的？