Apache spark 在web应用程序中使用ApacheLivy(flask)
我正在构建一个web应用程序,该应用程序使用Flask具有一些实时机器学习功能。我想使用Spark Mllib来分析数据,并在应用程序中实时给出结果。 然后我找到了Livy,我认为它可能适合我的项目。 我阅读了Livy的文档,我知道我可以像这样向Livy的spark cluster发送代码片段Apache spark 在web应用程序中使用ApacheLivy(flask),apache-spark,flask,web-applications,apache-spark-mllib,livy,Apache Spark,Flask,Web Applications,Apache Spark Mllib,Livy,我正在构建一个web应用程序,该应用程序使用Flask具有一些实时机器学习功能。我想使用Spark Mllib来分析数据,并在应用程序中实时给出结果。 然后我找到了Livy,我认为它可能适合我的项目。 我阅读了Livy的文档,我知道我可以像这样向Livy的spark cluster发送代码片段 data = {'code': textwrap.dedent(""" val NUM_SAMPLES = 100000; val count = sc.paralleliz
data = {'code': textwrap.dedent("""
val NUM_SAMPLES = 100000;
val count = sc.parallelize(1 to NUM_SAMPLES).map { i =>
val x = Math.random();
val y = Math.random();
if (x*x + y*y < 1) 1 else 0
}.reduce(_ + _);
println(\"Pi is roughly \" + 4.0 * count / NUM_SAMPLES)
""")}
data={'code':textwrap.dedent(“”)
val NUM_样本=100000;
val count=sc.parallelize(1到NUM_个样本)。映射{i=>
val x=Math.random();
val y=Math.random();
如果(x*x+y*y<1)1,则为0
}.减少(u+u);
println(\“Pi大约为\”+4.0*计数/样本数)
""")}
我的情况是,我的应用程序后端有大量数据(数千行json格式的数据),我想用Spark进行分析。
我的问题是,我怎样才能将数据传递给Livy?
我找不到任何具有大数据集的工作示例