Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 在web应用程序中使用ApacheLivy(flask)_Apache Spark_Flask_Web Applications_Apache Spark Mllib_Livy - Fatal编程技术网

Apache spark 在web应用程序中使用ApacheLivy(flask)

Apache spark 在web应用程序中使用ApacheLivy(flask),apache-spark,flask,web-applications,apache-spark-mllib,livy,Apache Spark,Flask,Web Applications,Apache Spark Mllib,Livy,我正在构建一个web应用程序,该应用程序使用Flask具有一些实时机器学习功能。我想使用Spark Mllib来分析数据,并在应用程序中实时给出结果。 然后我找到了Livy,我认为它可能适合我的项目。 我阅读了Livy的文档,我知道我可以像这样向Livy的spark cluster发送代码片段 data = {'code': textwrap.dedent(""" val NUM_SAMPLES = 100000; val count = sc.paralleliz

我正在构建一个web应用程序,该应用程序使用Flask具有一些实时机器学习功能。我想使用Spark Mllib来分析数据,并在应用程序中实时给出结果。 然后我找到了Livy,我认为它可能适合我的项目。 我阅读了Livy的文档,我知道我可以像这样向Livy的spark cluster发送代码片段

data = {'code': textwrap.dedent("""
val NUM_SAMPLES = 100000;
val count = sc.parallelize(1 to NUM_SAMPLES).map { i =>
  val x = Math.random();
  val y = Math.random();
  if (x*x + y*y < 1) 1 else 0
}.reduce(_ + _);
println(\"Pi is roughly \" + 4.0 * count / NUM_SAMPLES)
""")}
data={'code':textwrap.dedent(“”)
val NUM_样本=100000;
val count=sc.parallelize(1到NUM_个样本)。映射{i=>
val x=Math.random();
val y=Math.random();
如果(x*x+y*y<1)1,则为0
}.减少(u+u);
println(\“Pi大约为\”+4.0*计数/样本数)
""")}
我的情况是,我的应用程序后端有大量数据(数千行json格式的数据),我想用Spark进行分析。 我的问题是,我怎样才能将数据传递给Livy? 我找不到任何具有大数据集的工作示例