Hadoop 在Sqoop中更改事务隔离级别设置行为

Hadoop 在Sqoop中更改事务隔离级别设置行为,hadoop,transactions,sqoop,azure-sqldw,Hadoop,Transactions,Sqoop,Azure Sqldw,我们目前正尝试使用Sqoop将数据从Hadoop摄取到Azure SQL数据仓库,但出现了与事务隔离级别相关的错误。发生的情况是,Sqoop在尝试导入/导出时尝试将事务隔离级别设置为READ COMMITTED,而Azure SQL数据仓库当前不支持此功能。我尝试过使用Sqoop的--relaxed隔离参数,但仍然没有效果。 作为解决方案,我想: 1.更改Sqoop源代码以将Sqoop的行为更改为不设置事务级别 2.寻找允许我以编程方式更改此Sqoop行为的API(如果有) 有人遇到过这样的情况

我们目前正尝试使用Sqoop将数据从Hadoop摄取到Azure SQL数据仓库,但出现了与事务隔离级别相关的错误。发生的情况是,Sqoop在尝试导入/导出时尝试将事务隔离级别设置为READ COMMITTED,而Azure SQL数据仓库当前不支持此功能。我尝试过使用Sqoop的--relaxed隔离参数,但仍然没有效果。 作为解决方案,我想: 1.更改Sqoop源代码以将Sqoop的行为更改为不设置事务级别 2.寻找允许我以编程方式更改此Sqoop行为的API(如果有)


有人遇到过这样的情况吗?寻找建议解决方案的建议以及如何实施这些建议。

这个问题刚刚在Sqoop中得到解决:


否则,@wBob关于使用Polybase的评论肯定是最佳实践:

我无法帮助您使用Sqoop,但您是否考虑过使用Polybase将数据从Hadoop移动到Azure SQL数据仓库(ADW)?这是其主要使用案例之一,也是Microsoft推荐的ADW高性能数据加载。我们认为Polybase是一种潜在的选择,但由于某些安全问题,我们没有得到安全团队的认可在我们的环境中使用它。感谢您的参考,但是我认为这个问题已经解决了,只适用于元数据查询,而不是所有类型的查询。我认为Sqoop中的导入/导出仍然不能与这个新补丁一起工作。