Azure ADF复制活动FTP源异常行为

Azure ADF复制活动FTP源异常行为,azure,azure-data-factory-2,copy-activity,Azure,Azure Data Factory 2,Copy Activity,我已经创建了一个ADF管道,将大约18个文件从FTP位置复制到Azure Blob容器中。最初,我使用“获取元数据”活动从FTP位置获取所有文件。然后,我让ForEach活动循环遍历所有文件。在ForEach活动中,我有一个复制数据活动,它将FTP位置复制到Blob位置 运行管道时,一些文件被复制,但其中一些文件被复制失败,并显示以下错误消息- “ErrorCode=UserErrorFileNotFound,'Type=Microsoft.DataTransfer.Common.Shared.

我已经创建了一个ADF管道,将大约18个文件从FTP位置复制到Azure Blob容器中。最初,我使用“获取元数据”活动从FTP位置获取所有文件。然后,我让ForEach活动循环遍历所有文件。在ForEach活动中,我有一个复制数据活动,它将FTP位置复制到Blob位置

运行管道时,一些文件被复制,但其中一些文件被复制失败,并显示以下错误消息-

“ErrorCode=UserErrorFileNotFound,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=远程服务器返回错误:(550)文件不可用(例如,找不到文件,无法访问),'Source=Microsoft.DataTransfer.ClientLibrary,'Type=System.Net.WebException,Message=远程服务器返回错误:(550)文件不可用(例如,找不到文件,无法访问)。源=系统“,”

我不确定这里出了什么问题,因为其他文件复制成功,但很少有文件没有成功。我尝试了很多次,但仍然不能保证所有文件都会被复制

当我尝试查看与FTP链接服务的连接是否正常工作时,它会说连接成功。FTP链接服务已启用SSL并配置为从Azure密钥库获取密码

当我运行管道时,请参阅下面的输出-

你有没有想过这里出了什么问题?一次复制的文件数量有限制吗


提前谢谢。

正如@Joel Cochran所说,这个问题可能是并发限制问题。
当我们选择
Sequential
时,复制活动将是单线程的。取消选中它,复制活动将是多线程的,效率将大大提高

因此,我们的解决方案是:

  • 取消选中“顺序代码”
  • 增加内部活动并行操作的最大数量

  • 您真的有权访问所有文件吗?是的,我有。在多次运行中,我可以复制所有文件,只是在一次运行中没有复制所有文件。看起来您正在并行运行所有活动,这可能是并发限制问题吗?此外,除非文件非常大,否则不需要一次请求一个文件。如果您要从FTP服务器获取所有文件,则可以通过单个复制活动来完成。我还建议对FTP副本使用二进制数据集(以防万一您还没有)。@JoelCochran-通过调整并发限制(批计数),它起作用了!最初我将其标记为顺序,然后逐渐增加批次计数。现在工作正常。@Rameshwar Pawale您是否调整了源端
    最大并发连接数来解决此问题?