Scala 有可能将Spark ML模型应用到Flink流数据流中吗?
Flink显然是流媒体的选择,但是Scala 有可能将Spark ML模型应用到Flink流数据流中吗?,scala,apache-spark,machine-learning,apache-flink,Scala,Apache Spark,Machine Learning,Apache Flink,Flink显然是流媒体的选择,但是Spark已经成熟ML管道,是否可以在Spark中训练模型,将其保存为CrossValidator模型,并部署到Flink中的流媒体数据?全部在scala中 Flink目前(2017年3月,Flink 1.2)不支持为streams提供机器学习模型。然而,这是社区目前正在讨论的一个特性 请随意在Flink中提交JIRA以请求该功能 在Flink正式支持之前,可能还有其他方法将模型加载到Flink中。(免责声明:我不是Spark ML的专家)。 从JavaDocs
Spark
已经成熟ML管道
,是否可以在Spark中训练模型,将其保存为CrossValidator模型
,并部署到Flink
中的流媒体数据?全部在scala中 Flink目前(2017年3月,Flink 1.2)不支持为streams提供机器学习模型。然而,这是社区目前正在讨论的一个特性
请随意在Flink中提交JIRA以请求该功能
在Flink正式支持之前,可能还有其他方法将模型加载到Flink中。(免责声明:我不是Spark ML的专家)。
从JavaDocs来看,CrossValidatorModel
似乎有一个方法write()
,该方法返回一个MLWriter
和一个save(字符串路径)
方法
您可以在Spark中构建模型,使用MLWriter
保存模型,然后使用MLReader
将其再次加载到Flink中并在流中使用。Flink目前(2017年3月,Flink 1.2)不支持为流提供机器学习模型。然而,这是社区目前正在讨论的一个特性
请随意在Flink中提交JIRA以请求该功能
在Flink正式支持之前,可能还有其他方法将模型加载到Flink中。(免责声明:我不是Spark ML的专家)。
从JavaDocs来看,CrossValidatorModel
似乎有一个方法write()
,该方法返回一个MLWriter
和一个save(字符串路径)
方法
您可以在Spark中构建模型,使用
MLWriter
保存模型,然后使用MLReader
将其再次加载到Flink中并在流中使用。Flink支持读取Spark模型吗?如果没有,Spark reader和transform都需要一个功能性Spark cluster。。。导出到一些独立于平台的格式可能是一个更好的选择。要回答您的问题:还没有:)您能推荐一种独立的格式吗?上次我检查的时候,工作还算不错。这很有趣,但我不确定与Flink一起使用它有多现实。这就是我对现有尝试的全部了解。是有前途的,还有一个。谢谢你收集的工具!Flink支持阅读Spark模型吗?如果没有,Spark reader和transform都需要一个功能性Spark cluster。。。导出到一些独立于平台的格式可能是一个更好的选择。要回答您的问题:还没有:)您能推荐一种独立的格式吗?上次我检查的时候,工作还算不错。这很有趣,但我不确定与Flink一起使用它有多现实。这就是我对现有尝试的全部了解。是有前途的,还有一个。谢谢你收集的工具!