Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/azure/12.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/ssis/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Azure数据工厂中是否有类似于SSIS中FOR/FOREACH循环的东西?_Azure_Ssis_Azure Data Factory - Fatal编程技术网

Azure数据工厂中是否有类似于SSIS中FOR/FOREACH循环的东西?

Azure数据工厂中是否有类似于SSIS中FOR/FOREACH循环的东西?,azure,ssis,azure-data-factory,Azure,Ssis,Azure Data Factory,我在prem数据库中有200多个表中的数据,我需要将其移动到Azure data Lake。我不喜欢在Azure Data Factory中有200多条单独的管道(或一条包含200多个活动的管道或其管道/活动的一些其他分区),每个表一条管道。是否有更好/更具可扩展性的方法来实现这一点?在SSIS中,我可能会创建一个模板包,并将其包装在for循环容器中,以迭代一个表列表来完成工作,或者更进一步,让几个列表和每个包独立地在自己的列表上工作,以提高并行性。在数据工厂中也有同样的方法吗?真的吗?就动态模

我在prem数据库中有200多个表中的数据,我需要将其移动到Azure data Lake。我不喜欢在Azure Data Factory中有200多条单独的管道(或一条包含200多个活动的管道或其管道/活动的一些其他分区),每个表一条管道。是否有更好/更具可扩展性的方法来实现这一点?在SSIS中,我可能会创建一个模板包,并将其包装在for循环容器中,以迭代一个表列表来完成工作,或者更进一步,让几个列表和每个包独立地在自己的列表上工作,以提高并行性。在数据工厂中也有同样的方法吗?

真的吗?就动态模式而言,SSIS非常糟糕。根据,Azure Data Factory(ADF)是一个ELT工具而不是ETL工具,在这方面有着根本的不同。但是,使用复制向导执行此操作不会花费太长时间

另外,您还必须学习将.net SDK和/或Powershell与ADF结合使用,以便更动态地使用它。理论上,对于可以在一个管道下运行的每个表,都需要输入和输出数据集


最后,我认为这不是一个很好的模式(主要是因为您需要一些IaaS来承载它),但作为最后的手段,SSIS现在在2016功能包中与Azure Data Lake进行了集成。

我主要是指任务的可管理性方面。在单个项目下,200多个表太难管理了,以至于200多个输入/输出数据集和管道彼此连接。SSIS功能包没有那么有用。我确实试过了…@YuGagarin为我介绍了SSIS方法。您建议如何使用动态模式?您可以始终使用SSI将文件输出到文件共享,然后使用ADF拾取和移动文件。复制活动可以移动目录中的所有文件,只需要一个管道、输入数据集(源目录)和输出数据集(输出目录)。您还可以尝试使用存储的Proc任务,运行数据库中的所有表,将文件输出到文件共享,然后复制活动等。重点是仅ADF编排,循环将在您选择的计算上发生。