Python 2.7 如何在Python中读取/迭代数据流
我在计算机的端口9999创建了一个流。 我必须在上面实现DGIM算法。 但是,我无法逐个读取数据流中的位。 下面是我的代码:Python 2.7 如何在Python中读取/迭代数据流,python-2.7,spark-streaming,data-stream,Python 2.7,Spark Streaming,Data Stream,我在计算机的端口9999创建了一个流。 我必须在上面实现DGIM算法。 但是,我无法逐个读取数据流中的位。 下面是我的代码: from pyspark import SparkContext from pyspark.streaming import StreamingContext import math sc = SparkContext("local[2]", "NetworkWordCount") ssc = StreamingContext(sc, 1) 使用以下命令时,我可以成批
from pyspark import SparkContext
from pyspark.streaming import StreamingContext
import math
sc = SparkContext("local[2]", "NetworkWordCount")
ssc = StreamingContext(sc, 1)
使用以下命令时,我可以成批打印流:
lines.pprint()
ssc.start() # Start the computation
ssc.awaitTermination()
但当我尝试打印每一位时,它会给出一个错误:
for l in lines.iter_lines():
print l
ssc.start() # Start the computation
ssc.awaitTermination()
有人能告诉我如何读取流中的每一位,以便
在上面实现算法?我使用了以下代码:
streams.foreachRDD(lambda c: function(c))
function(c):
c.collect()
这将从每个流中生成一个rdd,函数将收集所有流