Azure 数据工厂赢得';t荷载大柱

Azure 数据工厂赢得';t荷载大柱,azure,azure-data-factory,azure-synapse,Azure,Azure Data Factory,Azure Synapse,我们有一个Azure SQL表,我正在从传统的数据库转移到一个Azure Synapse Analytics(DW)表,用于长期存储,因此它可以从生产数据库中删除。这是我们以前使用的不推荐使用的系统(Salesforce)的系统表。我在DB的这个表中有一列,它是一个varchar(max),它是巨大的。MAX(LEN)(FIELD)是1585521。我曾尝试使用Data Factory将表移动到DW中,但在那个庞大的列上失败。我将DW表建模为生产DB表的镜像,但它无法加载,并且尝试了几次。我将失

我们有一个Azure SQL表,我正在从传统的数据库转移到一个Azure Synapse Analytics(DW)表,用于长期存储,因此它可以从生产数据库中删除。这是我们以前使用的不推荐使用的系统(Salesforce)的系统表。我在DB的这个表中有一列,它是一个varchar(max),它是巨大的。MAX(LEN)(FIELD)是1585521。我曾尝试使用Data Factory将表移动到DW中,但在那个庞大的列上失败。我将DW表建模为生产DB表的镜像,但它无法加载,并且尝试了几次。我将失败的DW列更改为nvarchar(MAX),但仍然失败(认为可能是非unicode导致了失败)。有什么想法吗?这让我很困惑,因为数据存在于我们的生产数据库中,但不会很好地和平地移动到我们的DW中

我尝试了几次,收到了以下错误消息(将DW列从varchar(max)更改为nvarchar(max)后的第二条错误消息):


当前使用Polybase的限制为1mb,列长度大于1mb。解决方法是在ADF的复制活动中使用大容量插入,或将源数据分块到8K列中,并使用8K列加载到目标暂存表中。有关此限制的详细信息,请查看此项

如果使用PolyBase外部表加载表,表行的定义长度不能超过1 MB。当具有可变长度数据的行超过1 MB时,可以使用BCP加载行,但不能使用PolyBase加载行

当我在ADF管道中使用“批量插入”选项时,它对我起了作用

HadoopSqlException: Arithmetic overflow error converting expression to data type NVARCHAR."}

HadoopExecutionException: Too long string in column [-1]: Actual len = [4977]. MaxLEN=[4000]