Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/java/381.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
无限循环JavaRDD<;字符串>;火花1.6_Java_Apache Spark - Fatal编程技术网

无限循环JavaRDD<;字符串>;火花1.6

无限循环JavaRDD<;字符串>;火花1.6,java,apache-spark,Java,Apache Spark,我正在尝试迭代一个JavaRDD,并通过应用使用这个RDD的方法来查找元素,然后我应该删除它 这是我的密码: 但没有结果,它似乎是一个无限循环 我怎样才能修好它 感谢当涉及到像这样的实现(与Java8流或Kotlin序列相同)时,它们是以惰性方式实现的,因此您需要执行终端操作,只有这样才能完成工作 因此,如果您执行过滤器并在那里结束,则不会发生任何情况,因为您没有执行任何终端操作。例如first(),take(1),forEach(…)或任何其他终端操作,您可以从非常模糊的描述中找到它们,我相

我正在尝试迭代一个JavaRDD,并通过应用使用这个RDD的方法来查找元素,然后我应该删除它

这是我的密码:


但没有结果,它似乎是一个无限循环 我怎样才能修好它
感谢

当涉及到像这样的实现(与Java8流或Kotlin序列相同)时,它们是以惰性方式实现的,因此您需要执行终端操作,只有这样才能完成工作


因此,如果您执行
过滤器
并在那里结束,则不会发生任何情况,因为您没有执行任何终端操作。例如
first()
take(1)
forEach(…)
或任何其他终端操作,您可以从非常模糊的描述中找到它们,我相信您需要的是如下内容,假设
input
类型为
JavaRDD


filter
这样的Sine-Apache-SPARK转换本质上是惰性的,要实际检索值,必须先编写
List-collectedValues=items.collect().collect()
不要真正投入生产,因为它确实非常危险。

多明公司做什么?您似乎应该在循环外调用
getMin()
过滤器中的
min
与映射中的
min
相同吗?如果是,则无法从那里访问。您指的是尚未发布的方法和字段:
getMin
Domine
min
。此外,传递给
map
的lambda如果根本不使用其参数
x
则不可能是好的/有用的。@DinoPrašo是的,它是相同的min。我需要这样做,我该怎么做@MạnhQuyế特恩盖伊ễn domine是一个布尔方法,如果x和min具有不同的特征,它将返回truei-want,当我在输入中有元素时,我找到min,然后删除它,这对我来说似乎是一次!!
items=input.map(x->{

        min=getMin(input);

        return min;


    })
    .filter(x ->  ! Domine(x, min)); 
final Row min = input.min((row1, row2) -> {
    //  TODO: replace by some real comparator implementation
    Integer row1value = row1.getInt(row1.fieldIndex("fieldName"));
    Integer row2value = row2.getInt(row2.fieldIndex("fieldName"));

    return row1value.compareTo(row2value);
});

items = input.filter(row -> !Domine(row, min));