Warning: file_get_contents(/data/phpspider/zhask/data//catemap/6/asp.net-mvc-3/4.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Azure data lake 在U-SQL中的现有文件中追加数据_Azure Data Lake_U Sql - Fatal编程技术网

Azure data lake 在U-SQL中的现有文件中追加数据

Azure data lake 在U-SQL中的现有文件中追加数据,azure-data-lake,u-sql,Azure Data Lake,U Sql,我们可以在U-SQL中的现有文件中追加数据吗? 我在U-SQL中创建了一个CSV文件作为输出。我正在编写另一个U-SQL查询,并希望将该查询的输出附加到现有文件中。 有可能吗?它不受支持,并且不利于健壮、分布式、幂等大数据系统的设计(尽管您可以通过将以前的输出读取为行集并执行UNION ALL来实现该行为) 处理这一问题的最佳方法是正确使用分区,例如,为每次执行创建一个或多个新分区:我认为是文件集而不是分区,而是类似的概念。ie file1_20161202.csv、file1_20161203

我们可以在U-SQL中的现有文件中追加数据吗? 我在U-SQL中创建了一个CSV文件作为输出。我正在编写另一个U-SQL查询,并希望将该查询的输出附加到现有文件中。
有可能吗?

它不受支持,并且不利于健壮、分布式、幂等大数据系统的设计(尽管您可以通过将以前的输出读取为行集并执行UNION ALL来实现该行为)


处理这一问题的最佳方法是正确使用分区,例如,为每次执行创建一个或多个新分区:

我认为是文件集而不是分区,而是类似的概念。ie file1_20161202.csv、file1_20161203.csv等U-SQL可以通过其文件集功能将它们视为一个,例如
@q=EXTRACT rowId int,date string FROM“/input/file1_{date}.txt”,使用Extractors.Tsv()@wBob好主意。要生成这样的文件(在数据工厂触发的运行中),您可以传递。