使用Polybase将大量小csv文件加载到Azure Synapse

使用Polybase将大量小csv文件加载到Azure Synapse,azure,azure-data-lake,azure-synapse,polybase,Azure,Azure Data Lake,Azure Synapse,Polybase,我目前的任务是将大约3600个小型csv文件从Azure Data Lake加载到Azure Synapse中的一个表中。每个文件少于10k字节。我使用Polybase创建了一个外部表,用一些通配符指向DataLake上的文件夹,并将外部表中的记录插入到另一个临时表中。整个过程大约需要4小时才能完成。是否有任何方法来查看是否有任何并行发生?所用时间正常吗?您的跑步目的是什么?什么资源类与用于加载数据的帐户关联?您是如何插入记录的(如插入或CTA)?可能建议使用CTA。您可以尝试使用新的“复制到”

我目前的任务是将大约3600个小型csv文件从Azure Data Lake加载到Azure Synapse中的一个表中。每个文件少于10k字节。我使用Polybase创建了一个外部表,用一些通配符指向DataLake上的文件夹,并将外部表中的记录插入到另一个临时表中。整个过程大约需要4小时才能完成。是否有任何方法来查看是否有任何并行发生?所用时间正常吗?

您的跑步目的是什么?什么资源类与用于加载数据的帐户关联?您是如何插入记录的(如插入或CTA)?可能建议使用CTA。您可以尝试使用新的“复制到”命令。。。CSV文件是否已压缩?另外,请确保您没有使用dbo帐户运行查询,因为这会导致操作作为小型资源类运行,这可能是次优的。数据仓库当前位于dw200c,我使用的是insert语句。CSV文件不会被压缩,而是以明文形式留在数据池中。如何检查该帐户是否为dbo?@VictorNg,你能解决这个问题吗?