Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scala 有可能将Spark ML模型应用到Flink流数据流中吗?_Scala_Apache Spark_Machine Learning_Apache Flink - Fatal编程技术网

Scala 有可能将Spark ML模型应用到Flink流数据流中吗?

Scala 有可能将Spark ML模型应用到Flink流数据流中吗?,scala,apache-spark,machine-learning,apache-flink,Scala,Apache Spark,Machine Learning,Apache Flink,Flink显然是流媒体的选择,但是Spark已经成熟ML管道,是否可以在Spark中训练模型,将其保存为CrossValidator模型,并部署到Flink中的流媒体数据?全部在scala中 Flink目前(2017年3月,Flink 1.2)不支持为streams提供机器学习模型。然而,这是社区目前正在讨论的一个特性 请随意在Flink中提交JIRA以请求该功能 在Flink正式支持之前,可能还有其他方法将模型加载到Flink中。(免责声明:我不是Spark ML的专家)。 从JavaDocs

Flink显然是流媒体的选择,但是
Spark
已经成熟
ML管道
,是否可以在Spark中训练模型,将其保存为
CrossValidator模型
,并部署到
Flink
中的流媒体数据?全部在scala中

Flink目前(2017年3月,Flink 1.2)不支持为streams提供机器学习模型。然而,这是社区目前正在讨论的一个特性

请随意在Flink中提交JIRA以请求该功能

在Flink正式支持之前,可能还有其他方法将模型加载到Flink中。(免责声明:我不是Spark ML的专家)。 从JavaDocs来看,
CrossValidatorModel
似乎有一个方法
write()
,该方法返回一个
MLWriter
和一个
save(字符串路径)
方法

您可以在Spark中构建模型,使用
MLWriter
保存模型,然后使用
MLReader
将其再次加载到Flink中并在流中使用。

Flink目前(2017年3月,Flink 1.2)不支持为流提供机器学习模型。然而,这是社区目前正在讨论的一个特性

请随意在Flink中提交JIRA以请求该功能

在Flink正式支持之前,可能还有其他方法将模型加载到Flink中。(免责声明:我不是Spark ML的专家)。 从JavaDocs来看,
CrossValidatorModel
似乎有一个方法
write()
,该方法返回一个
MLWriter
和一个
save(字符串路径)
方法


您可以在Spark中构建模型,使用
MLWriter
保存模型,然后使用
MLReader
将其再次加载到Flink中并在流中使用。

Flink支持读取Spark模型吗?如果没有,Spark reader和transform都需要一个功能性Spark cluster。。。导出到一些独立于平台的格式可能是一个更好的选择。要回答您的问题:还没有:)您能推荐一种独立的格式吗?上次我检查的时候,工作还算不错。这很有趣,但我不确定与Flink一起使用它有多现实。这就是我对现有尝试的全部了解。是有前途的,还有一个。谢谢你收集的工具!Flink支持阅读Spark模型吗?如果没有,Spark reader和transform都需要一个功能性Spark cluster。。。导出到一些独立于平台的格式可能是一个更好的选择。要回答您的问题:还没有:)您能推荐一种独立的格式吗?上次我检查的时候,工作还算不错。这很有趣,但我不确定与Flink一起使用它有多现实。这就是我对现有尝试的全部了解。是有前途的,还有一个。谢谢你收集的工具!