U-SQL忽略空文件

U-SQL忽略空文件,u-sql,U Sql,我每天都会收到来自数据提供商的文件转储。有时我们会收到空文件(20字节)。有没有办法自动避免处理或跳过这些文件 我试过: USING Extractors.Csv(skipFirstNRows:1, silent:true); 但我似乎遇到了一个顶点故障,我认为这与空文件有关。我们最近添加了一个FILE.LENGTH属性作为计算虚拟列,您可以使用该属性筛选出特定大小的文件 例如,以下内容应仅对大于20字节的文件进行操作: @data = EXTRACT // ...

我每天都会收到来自数据提供商的文件转储。有时我们会收到空文件(20字节)。有没有办法自动避免处理或跳过这些文件

我试过:

USING Extractors.Csv(skipFirstNRows:1, silent:true);

但我似乎遇到了一个顶点故障,我认为这与空文件有关。

我们最近添加了一个FILE.LENGTH属性作为计算虚拟列,您可以使用该属性筛选出特定大小的文件

例如,以下内容应仅对大于20字节的文件进行操作:

@data = 
  EXTRACT 
          // ... columns to extract
        , file_sz = FILE.LENGTH()
  FROM "/mydata/{*}"
  USING Extractors.Csv();

@res =
  SELECT *
  FROM @data
  WHERE file_sz > 20;

我们最近添加了一个FILE.LENGTH属性作为计算虚拟列,您可以使用它来筛选出特定大小的文件

例如,以下内容应仅对大于20字节的文件进行操作:

@data = 
  EXTRACT 
          // ... columns to extract
        , file_sz = FILE.LENGTH()
  FROM "/mydata/{*}"
  USING Extractors.Csv();

@res =
  SELECT *
  FROM @data
  WHERE file_sz > 20;

您可以分享错误详细信息吗?下面的解决方案解决了我的问题,我正在添加错误,以防其他人遇到此问题:在尝试从输入流中跳过1行时到达第一个顶点流段的末尾。跳过的实际行数:0。是否可以共享错误详细信息?下面的解决方案解决了我的问题,我正在添加此错误,以防其他人遇到此问题:尝试从输入流中跳过1行时到达第一个顶点流段的末尾。跳过的实际行:0。