Scala Apache Flink按密钥转储到多个文件(组)
我正在对数据进行一些处理,我想根据组将处理后的数据转储到多个文件中 数据示例:Scala Apache Flink按密钥转储到多个文件(组),scala,apache-flink,Scala,Apache Flink,我正在对数据进行一些处理,我想根据组将处理后的数据转储到多个文件中 数据示例: A,123 B,200 A,400 B,400 因此,我期望的输出是: 文件1: A,123 A,400 文件2: B,200 B,400 (文件的数量基于组的数量) 因此基本上是一个简单的exampleData: exampleData.groupBy(0).sortGroup(1, Order.ASCENDING) 现在的类型是GroupedDataSet。我想将每个groupedDataSet输出到不同
A,123
B,200
A,400
B,400
因此,我期望的输出是:
文件1:
A,123
A,400
文件2:
B,200
B,400
(文件的数量基于组的数量)
因此基本上是一个简单的exampleData
:
exampleData.groupBy(0).sortGroup(1, Order.ASCENDING)
现在的类型是GroupedDataSet
。我想将每个groupedDataSet输出到不同的CSV。我该怎么做?我尝试使用reduceGroup
,这样我就可以单独处理每个组,但我无法使其工作
我使用的是Scala 2.11.12版和Flink 1.11.0版这能回答您的问题吗@Mikalailushcytski如果有答案的话会的很抱歉,但这个问题不就是前一个问题的完全重复吗?你用
reduceGroup
做了什么尝试?