Azure 如何在U-SQL Extract语句中指定日期范围
我的输入文件位于一个月目录中,具有命名模式 _.csv 我可以创建一个摘录来获取所有文件Azure 如何在U-SQL Extract语句中指定日期范围,azure,azure-data-lake,u-sql,Azure,Azure Data Lake,U Sql,我的输入文件位于一个月目录中,具有命名模式 _.csv 我可以创建一个摘录来获取所有文件 @InputFile_Daily+“{*}.json” 但是,我现在需要能够创建一个特定日期范围的文件集,例如今天->今天-3 有没有办法指定这种范围,无论是正则表达式还是U-SQL提取中的其他类型?或者,正如我在其他地方看到的,提取所有数据,然后将结果过滤到我感兴趣的范围。这并不理想,因为成本是U-SQL中的一个因素,您可以像您所说的那样提取所有文件(@InputFile\U Daily+“{*}.jso
@InputFile_Daily+“{*}.json” 但是,我现在需要能够创建一个特定日期范围的文件集,例如今天->今天-3
有没有办法指定这种范围,无论是正则表达式还是U-SQL提取中的其他类型?或者,正如我在其他地方看到的,提取所有数据,然后将结果过滤到我感兴趣的范围。这并不理想,因为成本是U-SQL中的一个因素,您可以像您所说的那样提取所有文件(
@InputFile\U Daily+“{*}.json”
),然后在第一个选择中应用日期过滤器,它在内部只提取所需的数据
例如:
DECLARE@input string=@/temp/stackoverflow.json”;
//读取输入文件
@输入数据=
提取帐户字符串,
别名字符串,
公司字符串,
日期时间,
Json字符串
来自@input
使用提取器.Text(分隔符:'\n',引号:false);
@提取字段=
选择帐户,
别名
公司,
日期,
Json
来自@inputData
在U-SQL中,@referenceDate==DateTime.MinValue或(date>=@dateFrom和date,您可以像您所说的那样提取所有文件(@InputFile\U Daily+“{*}.json”
),然后在第一个选项中选择应用日期过滤器,它在内部只提取所需的数据
例如:
DECLARE@input string=@/temp/stackoverflow.json”;
//读取输入文件
@输入数据=
提取帐户字符串,
别名字符串,
公司字符串,
日期时间,
Json字符串
来自@input
使用提取器.Text(分隔符:'\n',引号:false);
@提取字段=
选择帐户,
别名
公司,
日期,
Json
来自@inputData
其中@referenceDate==DateTime.MinValue或(日期>=@dateFrom和日期