U-SQL忽略空文件
我每天都会收到来自数据提供商的文件转储。有时我们会收到空文件(20字节)。有没有办法自动避免处理或跳过这些文件 我试过:U-SQL忽略空文件,u-sql,U Sql,我每天都会收到来自数据提供商的文件转储。有时我们会收到空文件(20字节)。有没有办法自动避免处理或跳过这些文件 我试过: USING Extractors.Csv(skipFirstNRows:1, silent:true); 但我似乎遇到了一个顶点故障,我认为这与空文件有关。我们最近添加了一个FILE.LENGTH属性作为计算虚拟列,您可以使用该属性筛选出特定大小的文件 例如,以下内容应仅对大于20字节的文件进行操作: @data = EXTRACT // ...
USING Extractors.Csv(skipFirstNRows:1, silent:true);
但我似乎遇到了一个顶点故障,我认为这与空文件有关。我们最近添加了一个FILE.LENGTH属性作为计算虚拟列,您可以使用该属性筛选出特定大小的文件 例如,以下内容应仅对大于20字节的文件进行操作:
@data =
EXTRACT
// ... columns to extract
, file_sz = FILE.LENGTH()
FROM "/mydata/{*}"
USING Extractors.Csv();
@res =
SELECT *
FROM @data
WHERE file_sz > 20;
我们最近添加了一个FILE.LENGTH属性作为计算虚拟列,您可以使用它来筛选出特定大小的文件 例如,以下内容应仅对大于20字节的文件进行操作:
@data =
EXTRACT
// ... columns to extract
, file_sz = FILE.LENGTH()
FROM "/mydata/{*}"
USING Extractors.Csv();
@res =
SELECT *
FROM @data
WHERE file_sz > 20;
您可以分享错误详细信息吗?下面的解决方案解决了我的问题,我正在添加错误,以防其他人遇到此问题:在尝试从输入流中跳过1行时到达第一个顶点流段的末尾。跳过的实际行数:0。是否可以共享错误详细信息?下面的解决方案解决了我的问题,我正在添加此错误,以防其他人遇到此问题:尝试从输入流中跳过1行时到达第一个顶点流段的末尾。跳过的实际行:0。