Apache spark MAX-CSP解决方案的大数据集成？

我们有大量的MAX-CSP实例，其中包含数百万个变量和约束

对于任何CSP解算器，是否有与Apache Spark或类似工具的大数据集成？还是大数据并行化的其他可用方式

如果没有，MAX-CSP是否有可能被合理地并行处理？或者仅仅在某些条件下使用问题的结构

找不到关于这个的任何信息。。。反之亦然，通过约束编程管理大数据流程等：-/

致意

卢马

我已经搜索了：

• “火花”和“大数据”，所有CSP解决方案均在
• “大数据约束规划”等

---

当前方法有什么问题？细节？离散opt在并行化方面非常糟糕，甚至在给定spark和co的计算模型方面更是如此。Cp和大数据很难合并。一些cp传播程序已经具有二次或三次复杂性。我们有专家制定了许多相互关联的约束条件，这些约束条件应该保留在我们的数据上，但大多数真实世界的数据都包含一些错误/不准确等。我们希望找到一组最好的数据集修复（根据某些定义的度量）为了满足约束条件。并且可能会显示哪些约束可能被错误地陈述，因为它们会导致很多数据修复。使用SQL，我们无法同时使用所有约束进行此类优化。最好使用一些简单的爬山等方法，按顺序尝试单个修复，并使用SQL测量违反约束的情况？当前方法有什么问题？细节？离散opt在并行化方面非常糟糕，甚至在给定spark和co的计算模型方面更是如此。Cp和大数据很难合并。一些cp传播程序已经具有二次或三次复杂性。我们有专家制定了许多相互关联的约束条件，这些约束条件应该保留在我们的数据上，但大多数真实世界的数据都包含一些错误/不准确等。我们希望找到一组最好的数据集修复（根据某些定义的度量）为了满足约束条件。并且可能会显示哪些约束可能被错误地陈述，因为它们会导致很多数据修复。使用SQL，我们无法同时使用所有约束进行此类优化。最好使用一些简单的爬山等方法，依次尝试单个修复，并使用SQL度量违反约束的情况？