Scala Intellij：如果未提供命名变量，则数据集上的spark筛选器将标记为错误

这条线过去工作得很好：

    val jobContent = tupleJobContent.filter(_._1 != null).map(_._1)

tupleJobContent

属于

Dataset[Tuple1[Job]]

类型

今天，我打开Intellij，它被标记为“无法解析具有此类签名的引用筛选器”

另一方面，这个没有标记

    val jobContent = tupleJobContent.filter(tuple => tuple._1 != null).map(_._1)

错误只发生在Intellij中，

gradle build

不会返回任何错误，但现在需要2分钟而不是30秒

---

这就是为什么我想对我的环境进行一些改变，但我想不出任何改变。

每当我看到像你这样的问题，IDEA显示出问题，而sbt或gradle没有，就是简单地接受它，希望有一天IDEA能更好地理解Scala和Spark。另外，我不想使用

Dataset.filter

，因为它将所有大数据加载到JVM上，这可能太多了。使用非类型化的

DataFrame.where

代替。感谢您提供有关DataFrame的提示，我今天将测试它！