Python 3.x 无法使用spark从netcat读取数据
我创建了两个不同的python文件。1-用于从csv文件读取数据并通过netcat服务器发送。2-从net cat服务器读取数据 我能够将数据发送到net cat服务器。但是,第二个文件无法使用spark socketStream从netcat服务器读取。有趣的是,如果我通过netcat终端手动输入数据,程序就能读取数据Python 3.x 无法使用spark从netcat读取数据,python-3.x,sockets,apache-spark,Python 3.x,Sockets,Apache Spark,我创建了两个不同的python文件。1-用于从csv文件读取数据并通过netcat服务器发送。2-从net cat服务器读取数据 我能够将数据发送到net cat服务器。但是,第二个文件无法使用spark socketStream从netcat服务器读取。有趣的是,如果我通过netcat终端手动输入数据,程序就能读取数据 #Client code: import socket import time HOST = 'localhost' PORT = 8888 s = socket.sock
#Client code:
import socket
import time
HOST = 'localhost'
PORT = 8888
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.connect((HOST, PORT))
i = 0
with open("Only-R80711-SC.csv", "r") as fo:
for line in fo:
if i <= 100:
print(line)
s.send(line.encode('utf-8'))
i = i + 1
else:
i = 0
time.sleep(0)
print("Done sending")
s.close()
#server code
from pyspark import SparkContext
from pyspark.streaming import StreamingContext
sc = SparkContext("local[2]", "NetworkWordCount")
ssc = StreamingContext(sc, 10)
lines = ssc.socketTextStream("localhost", 8888)
lines.pprint()
ssc.start() # Start the computation
ssc.awaitTermination() # Wait for the computation to terminate
#客户代码:
导入套接字
导入时间
主机='localhost'
端口=8888
s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
s、 连接((主机、端口))
i=0
打开(“仅-R80711-SC.csv”,“r”)作为fo:
对于fo中的行:
如果我