Azure数据工厂中是否有类似于SSIS中FOR/FOREACH循环的东西?
我在prem数据库中有200多个表中的数据,我需要将其移动到Azure data Lake。我不喜欢在Azure Data Factory中有200多条单独的管道(或一条包含200多个活动的管道或其管道/活动的一些其他分区),每个表一条管道。是否有更好/更具可扩展性的方法来实现这一点?在SSIS中,我可能会创建一个模板包,并将其包装在for循环容器中,以迭代一个表列表来完成工作,或者更进一步,让几个列表和每个包独立地在自己的列表上工作,以提高并行性。在数据工厂中也有同样的方法吗?真的吗?就动态模式而言,SSIS非常糟糕。根据,Azure Data Factory(ADF)是一个ELT工具而不是ETL工具,在这方面有着根本的不同。但是,使用复制向导执行此操作不会花费太长时间 另外,您还必须学习将.net SDK和/或Powershell与ADF结合使用,以便更动态地使用它。理论上,对于可以在一个管道下运行的每个表,都需要输入和输出数据集Azure数据工厂中是否有类似于SSIS中FOR/FOREACH循环的东西?,azure,ssis,azure-data-factory,Azure,Ssis,Azure Data Factory,我在prem数据库中有200多个表中的数据,我需要将其移动到Azure data Lake。我不喜欢在Azure Data Factory中有200多条单独的管道(或一条包含200多个活动的管道或其管道/活动的一些其他分区),每个表一条管道。是否有更好/更具可扩展性的方法来实现这一点?在SSIS中,我可能会创建一个模板包,并将其包装在for循环容器中,以迭代一个表列表来完成工作,或者更进一步,让几个列表和每个包独立地在自己的列表上工作,以提高并行性。在数据工厂中也有同样的方法吗?真的吗?就动态模
最后,我认为这不是一个很好的模式(主要是因为您需要一些IaaS来承载它),但作为最后的手段,SSIS现在在2016功能包中与Azure Data Lake进行了集成。我主要是指任务的可管理性方面。在单个项目下,200多个表太难管理了,以至于200多个输入/输出数据集和管道彼此连接。SSIS功能包没有那么有用。我确实试过了…@YuGagarin为我介绍了SSIS方法。您建议如何使用动态模式?您可以始终使用SSI将文件输出到文件共享,然后使用ADF拾取和移动文件。复制活动可以移动目录中的所有文件,只需要一个管道、输入数据集(源目录)和输出数据集(输出目录)。您还可以尝试使用存储的Proc任务,运行数据库中的所有表,将文件输出到文件共享,然后复制活动等。重点是仅ADF编排,循环将在您选择的计算上发生。