Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/ssis/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 2.7 如何在Python中读取/迭代数据流_Python 2.7_Spark Streaming_Data Stream - Fatal编程技术网

Python 2.7 如何在Python中读取/迭代数据流

Python 2.7 如何在Python中读取/迭代数据流,python-2.7,spark-streaming,data-stream,Python 2.7,Spark Streaming,Data Stream,我在计算机的端口9999创建了一个流。 我必须在上面实现DGIM算法。 但是,我无法逐个读取数据流中的位。 下面是我的代码: from pyspark import SparkContext from pyspark.streaming import StreamingContext import math sc = SparkContext("local[2]", "NetworkWordCount") ssc = StreamingContext(sc, 1) 使用以下命令时,我可以成批

我在计算机的端口9999创建了一个流。

我必须在上面实现DGIM算法。 但是,我无法逐个读取数据流中的位。 下面是我的代码:

from pyspark import SparkContext
from pyspark.streaming import StreamingContext
import math
sc = SparkContext("local[2]", "NetworkWordCount")
ssc = StreamingContext(sc, 1)
使用以下命令时,我可以成批打印流:

lines.pprint()
ssc.start()             # Start the computation
ssc.awaitTermination()

但当我尝试打印每一位时,它会给出一个错误:

for l in lines.iter_lines():
   print l
ssc.start()             # Start the computation
ssc.awaitTermination()

有人能告诉我如何读取流中的每一位,以便
在上面实现算法?

我使用了以下代码:

 streams.foreachRDD(lambda c: function(c))
 function(c):
    c.collect()
这将从每个流中生成一个rdd,函数将收集所有流