Azure Data Factory U-SQL管道创建随机文件夹和空文件
我目前正在使用Azure Data Factory V2。当我执行U-SQL管道(将多个CSV文件汇集在一起并将单个CSV文件输出到Azure Data Lake)时,它会随机创建一个文件夹,该文件夹的名称与我要创建的实际输出文件的名称类似 假设我像这样执行U-SQL:Azure Data Factory U-SQL管道创建随机文件夹和空文件,azure,azure-data-factory,azure-data-lake,u-sql,Azure,Azure Data Factory,Azure Data Lake,U Sql,我目前正在使用Azure Data Factory V2。当我执行U-SQL管道(将多个CSV文件汇集在一起并将单个CSV文件输出到Azure Data Lake)时,它会随机创建一个文件夹,该文件夹的名称与我要创建的实际输出文件的名称类似 假设我像这样执行U-SQL: @CombinedResult = EXTRACT CustomerId string, FirstName string, LastName string Assessment1Name s
@CombinedResult =
EXTRACT
CustomerId string,
FirstName string,
LastName string
Assessment1Name string,
CreatedDate string
FROM @csvPath
USING Extractors.Csv(quoting:true, skipFirstNRows:1);
OUTPUT @CombinedResult TO @output
USING Outputters.Csv(outputHeader : true);
如果U-SQL管道要创建“customer_interaction.csv”,那么Azure有时会创建“customer_interaction.csv”和“customer_interaction.csv”-E52659F-638a-42ed-a453-96d9774398a1#N”文件夹(看起来像GUID的字符串不是该管道的运行id,我找不到它来自何处),该文件夹包含名为like的空文件“D2B099F5-28C0-4094-86E9-E43D195028D5-3_0_1.dtf#N”
我查看了Azure Data Analytics上的日志,没有发现与此活动相关的错误或问题。我怀疑这是由Azure系统本身创建的某种临时文件,但我真的没有办法确认。有人知道为什么可以创建这样的文件夹和文件吗?在正常工作的工具中经常发生这种情况使用Blob存储,但我没有在ADL中看到。它通常是无害的,尽管它可能会因为留下的混乱而令人讨厌。