Azure 使用U-SQL删除字符串中的空行
我在azure data lake中收到客户的评论,这些评论以U-SQL组合/格式化。一些客户在他们的评论行之间留有空白。知道如何使用U-Sql删除这些空行吗 例如一条评论Azure 使用U-SQL删除字符串中的空行,azure,azure-data-lake,u-sql,Azure,Azure Data Lake,U Sql,我在azure data lake中收到客户的评论,这些评论以U-SQL组合/格式化。一些客户在他们的评论行之间留有空白。知道如何使用U-Sql删除这些空行吗 例如一条评论 My name is abc <blank line> I love playing football. 我的名字是abc 我喜欢踢足球。 需要删除其中的空行。Trim()仅删除起始和结束空格。谢谢。您可以使用RegEx和U-SQL清理文本,例如,此简单脚本将两个回车替换为一个回车,删除空行: @input
My name is abc
<blank line>
I love playing football.
我的名字是abc
我喜欢踢足球。
需要删除其中的空行。Trim()仅删除起始和结束空格。谢谢。
您可以使用RegEx
和U-SQL清理文本,例如,此简单脚本将两个回车替换为一个回车,删除空行:
@input =
SELECT * FROM
( VALUES
( 1, @"My name is abc
I love playing football." ),
( 2, @"I love U-SQL
I'm indifferent to Hadoop." )
) AS x( id, review );
// Strip out repeated carriage returns
@output =
SELECT id,
Regex.Replace(review, "(\r\n){2}", "\r\n", RegexOptions.Multiline) AS cleanedReview
FROM @input;
OUTPUT @output
TO "/output/output.csv"
USING Outputters.Csv();
您可能需要尝试使用正则表达式来清理特定的数据。源代码(内容)是什么样子的?它是什么格式和结构?只有两列是客户ID,请查看。都是字符串,谢谢。。我尝试了下面的代码,它成功了。将Regex.Replace(review,@“^\s*$\n|\r”,string.Empty,RegexOptions.Multiline)替换为cleanedReview