Java Spark查找连续的时间段
我想在一个很大的数据集中找到时间戳。这需要使用Java在Spark中完成（Scala中的代码示例也非常受欢迎） 每行看起来如下所示： ID，开始时间，结束时间 例如，数据集：Java Spark查找连续的时间段,java,apache-spark,Java,Apache Spark,我想在一个很大的数据集中找到时间戳。这需要使用Java在Spark中完成（Scala中的代码示例也非常受欢迎） 每行看起来如下所示： ID，开始时间，结束时间 例如，数据集： [[1,10,15]，[1,15,20]，[2,10,13]，[1,22,33]，[2,13,16] 预期结果是相同id的所有连续时间帧，对于每个连续时间帧，只有开始和结束时间： [[1,10,20]，[1,22,33]，[2,10,16]] 我已经尝试了以下方法，但是没有成功，因为没有维护订单。因此，我希望有一种更有效的
[[1,10,15]，[1,15,20]，[2,10,13]，[1,22,33]，[2,13,16][[1,10,20]，[1,22,33]，[2,10,16]]textFile.mapToPair(x -> new Tuple2<>(x[0],new Tuple2<>(x[1], x[2])
.mapValues(x -> new LinkedList<>(Arrays.asList(x)))
.reduceByKey((x,y) -> {
Tuple2<Long, Long> v1 = x.getLast();
Tuple2<Long, Long> v2 = y.getFirst();
Tuple2<Long, Long> v3 = v2;
if(v2._1().equals(v1._2())) {
v3 = new Tuple2<>(v1._1(), v2._2());
x.removeLast();
}
x.addLast(v3);
return x;
})
.flatMapValues(x -> x);
textFile.mapToPair（x->new Tuple2（x[0]，new Tuple2（x[1]，x[2]））
.mapValues（x->新建链接列表（Arrays.asList（x）））
.reduceByKey（（x，y）->{
tuple2v1=x.getLast（）；
Tuple2 v2=y.getFirst（）；
tuple2v3=v2；
如果（v2._1（）等于（v1._2（））{
v3=新元组2（v1._1（），v2._2（））；
x、 removeLast（）；
}
x、 addLast（v3）；
返回x；
})
.flatmap值（x->x）；
- 将两个间隔绑定在一起（我们将其命名为
）bindinentries（） - 将新间隔添加到间隔的间隔累加器中（设为
）insertEntry（）
mockData+---+-----+---+
| id|start|end|
+---+-----+---+
| 1| 22| 33|
| 1| 15| 20|
| 1| 10| 15|
| 2| 13| 16|
| 2| 10| 13|
+---+-----+---+
+---+-----+---+
| id|start|end|
+---+-----+---+
| 1| 10| 20|
| 1| 22| 33|
| 2| 10| 16|
+---+-----+---+
val processed=mockData
.groupByKey（u.id）
.flatMapGroups{（id:Int，it:Iterator[Entry]）=>
processEntries（it）
}
processEntries（）def processEntries（it:Iterator[Entry]）：List[Entry]=
it.foldLeft（Nil:List[Entry]）（insertEntry）
insertEntry（）def插入（acc:List[Entry]，e:Entry）：List[Entry]=acc匹配{
案例Nil=>e:：Nil
案例a：：as=>
val组合=分录（a，e）
组合赛{
案例x:：y:：Nil=>x:：insertEntry（as，y）
案例x：：Nil=>insertEntry（as，x）
case=>a:：as
}
}
bindEntries（）def bindEntries（x:Entry，y:Entry）：列表[条目]=
（x.start>y.end，x.endy:：x:：Nil
大小写（u，true）=>x:：y:：Nil
案例=>x.copy（开始=x.start最小y.start，结束=x.end最大y.end）：：Nil
}
bindEntries（）insertEntry（）+---+-----+---+
| id|start|end|
+---+-----+---+
| 1| 10| 20|
| 1| 22| 33|
| 2| 10| 16|
+---+-----+---+
insertEntry（）import org.apache.log4j.{Level，Logger}
导入org.apache.spark.sql.{Dataset，Encoder，Encoder，SparkSession}
对象临时性{
Logger.getLogger（“org”）.setLevel（Level.OFF）
def main（参数：数组[字符串]）：单位={
导入spark.implicits_
val处理=模拟数据
.groupByKey（u.id）
.flatMapGroups{（id，it）=>
processEntries（it）
}
mockData.show（）
已处理。show（）
}
def processEntries（it:Iterator[Entry]）：List[Entry]=
it.foldLeft（Nil:List[Entry]）（insertEntry）
def插入入口（acc:List[Entry]，e:Entry）：List[Entry]=acc匹配{
案例Nil=>e:：Nil
案例a：：as=>
val组合=分录（a，e）
组合赛{
案例x:：y:：Nil=>x:：insertEntry（as，y）
案例x：：Nil=>insertEntry（as，x）
case=>a:：as
}
}
def bindEntries（x:条目，y:条目）：列表[条目]=
（x.start>y.end，x.endy:：x:：Nil
大小写（u，true）=>x:：y:：Nil
案例=>x.copy（开始=x.start最小y.start，结束=x.end最大y.end）：：Nil
}
lazy val mockData:Dataset[Entry]=spark.createDataset（Seq(
条目（1、22、33），
条目（1、15、20），
条目（1、10、15），
条目（2、13、16），
条目（2、10、13）
))
案例类条目（id:Int，开始：Int，结束：Int）
隐式lazy val entryEncoder:Encoder[Entry]=Encoders.product[Entry]
lazy val spark:SparkSession=SparkSession.builder（）
.master（“本地”）
.getOrCreate（）
}