Apache spark 使用apache spark处理数据处理中的警告

我在网上四处查看，找不到任何方法以结构化的方式处理计算过程中的错误记录。我所能找到的就是flatMap/Some/None技术+日志记录。 我之所以面临这个问题，是因为我有一个处理算法，可以从每个记录中提取多个值，但可能无法提取其中一个值，我希望跟踪它们。日志记录是不可行的，因为此“警告”发生得太频繁，日志将变得难以读取

由于我在处理过程中有3种不同的可能结果，因此我使用这个类层次结构对其进行建模：

保存结果和/或警告的

---

由于Result实现了可遍历性，因此它可以在平面图中使用，丢弃所有警告和故障结果。另一方面，如果我们想跟踪警告，我们可以详细描述它们，并在需要时输出它们。

听起来是一个很好的解决方案。你对此有问题吗？问题是：spark世界有没有最佳实践？或者我应该依赖我的自定义解决方案？我不知道有什么更好的解决方案。我可能会使用一个具有

warning:Option[String]

字段的类。但你的解决方案更优雅。