Azure pipelines Azure数据工厂数据流“;设备上没有剩余空间”;

Azure pipelines Azure数据工厂数据流“;设备上没有剩余空间”;,azure-pipelines,azure-data-factory,azure-data-flow,Azure Pipelines,Azure Data Factory,Azure Data Flow,我正在Azure Data Factory中运行一个带有一些源和转换的数据流的管道,但管道运行了大约40个小时,然后由于错误而失败: 有一种方法可以调试此错误的原因吗?或者“设备上没有空间”意味着什么 使用的数据位于数据湖中,然后试图进入Azure Synapse DB 谢谢这是一个由幕后工作引起的火花错误。由于这是一个未捕获的例外,我建议打开Azure支持票证,以便我们的工程师能够为您找到根本原因 这里的根本原因可能是工作时间太长,导致员工填满。为了避免这种情况,我建议实施减少工作时间的措施

我正在Azure Data Factory中运行一个带有一些源和转换的数据流的管道,但管道运行了大约40个小时,然后由于错误而失败:

有一种方法可以调试此错误的原因吗?或者“设备上没有空间”意味着什么

使用的数据位于数据湖中,然后试图进入Azure Synapse DB


谢谢

这是一个由幕后工作引起的火花错误。由于这是一个未捕获的例外,我建议打开Azure支持票证,以便我们的工程师能够为您找到根本原因

这里的根本原因可能是工作时间太长,导致员工填满。为了避免这种情况,我建议实施减少工作时间的措施,因为40小时太长了

谢谢,
Daniel(磁盘或配额)存储空间不足。出于兴趣,为什么要使用数据流将数据加载到Synapse中?由于您的数据已经在data Lake中,您可以使用Polybase、Synapse COPY命令甚至SQL随需应变吗?磁盘配额用完了吗?在datalake?中,没有足够的存储空间。我使用数据流转换数据,然后将结果数据集放入Synapse。