Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/ssis/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Sql server 如何以最佳方式将SSIS中不同服务器上的大数据源数据与小数据源数据连接起来?_Sql Server_Ssis - Fatal编程技术网

Sql server 如何以最佳方式将SSIS中不同服务器上的大数据源数据与小数据源数据连接起来?

Sql server 如何以最佳方式将SSIS中不同服务器上的大数据源数据与小数据源数据连接起来?,sql-server,ssis,Sql Server,Ssis,我有一个ERP数据源,有1600万条记录,只需要选择几千条记录,但基于来自不同来源的数据,其中条件可以工作,但条件中使用的数据来自不同服务器上的不同来源,传统的方法是使用合并联接,这非常耗时。 我需要一种没有合并联接或查找列的方法来加快速度。 下面是我为将数据从ERP同步到公司数据库所做的工作 上述软件包用于财务交易,由于ERP数据是只读的,每天早上都会同步到公司的数据库。要同步1600万条记录,我需要30分钟的时间完成并行任务和表分区,但财务部现在希望在需要时手动运行软件包,假设他只希望将ER

我有一个ERP数据源,有1600万条记录,只需要选择几千条记录,但基于来自不同来源的数据,其中条件可以工作,但条件中使用的数据来自不同服务器上的不同来源,传统的方法是使用合并联接,这非常耗时。 我需要一种没有合并联接或查找列的方法来加快速度。 下面是我为将数据从ERP同步到公司数据库所做的工作

上述软件包用于财务交易,由于ERP数据是只读的,每天早上都会同步到公司的数据库。要同步1600万条记录,我需要30分钟的时间完成并行任务和表分区,但财务部现在希望在需要时手动运行软件包,假设他只希望将ERP的100条记录同步到公司数据库,如果使用下面的解决方案,它将扫描所有1600万条记录,以获得需要同步的100条记录,从而给出一个用例 财务部门在我们公司的应用程序中选择了几个分类账。因为company dbcompany应用程序必须仅为该分类账运行包,才能在公司的应用程序中获得更新的净余额。因此,我的方法是将他选择的分类账存储在一个表中,并将该表连接到SSIS包中的ERP。 像每天早晨一样继续前进

SELECT netbalance FROM ERP WHERE ledger in (SELECT ledgercode from MYSKM ) 

我想实现上述目标,但这是不可能的,因为ERP和MYSKM都在不同的服务器上

您的问题并不完全清楚问题是什么-您的意思是ERP输入有1600万行,您需要将它们过滤到几千行吗?在这种情况下,考虑将另一个源导入到同一数据库上的临时表中,并在SQL中执行连接或不存在(作为输入查询)。如果另一个源也有数百万行,那么就没有真正快速的解决方案-SQL Server和SSI在任何情况下都必须做大量的工作,但SQL Server往往要快得多,因为它为此进行了优化,而SSI没有。我们没有太多的信息可以继续。如果ERP和SKM在同一台服务器上,为什么不使用联接和一个源?您可以从SKM在ERP上填写一个永久临时表,并从ERP sql server执行您的操作吗?ERP Infor和SKMCompany DB在不同的服务器上,我需要减少正在同步的ERP数据的大小我们无法在ERP服务器上创建表您的问题并不完全清楚问题是什么-您的意思是ERP输入有1600万行,您需要将这些行过滤到几千行吗?在这种情况下,考虑将另一个源导入到同一数据库上的临时表中,并在SQL中执行连接或不存在(作为输入查询)。如果另一个源也有数百万行,那么就没有真正快速的解决方案-SQL Server和SSI在任何情况下都必须做大量的工作,但SQL Server往往要快得多,因为它为此进行了优化,而SSI没有。我们没有太多的信息可以继续。如果ERP和SKM在同一台服务器上,为什么不使用联接和一个源呢?您能从SKM在ERP上填写一个永久临时表并从ERP sql server执行您的操作吗?ERP Infor和SKMCompany DB在不同的服务器上,我需要减少正在同步的ERP数据的大小。我们无法在ERP服务器上创建表