Python:将数据帧作为参数传递给子流程
如何使用spark submit子流程将数据帧作为参数发送到python脚本。我已经尝试了下面的代码,但没有成功,因为我们无法连接字符串和对象Python:将数据帧作为参数传递给子流程,python,pandas,pyspark,subprocess,spark-submit,Python,Pandas,Pyspark,Subprocess,Spark Submit,如何使用spark submit子流程将数据帧作为参数发送到python脚本。我已经尝试了下面的代码,但没有成功,因为我们无法连接字符串和对象 def spark_submit(self, test_cases, email): command = 'spark-submit TestRunner.py '+test_cases+" "+email print(command) process = subprocess.Popen([command], shell=Tru
def spark_submit(self, test_cases, email):
command = 'spark-submit TestRunner.py '+test_cases+" "+email
print(command)
process = subprocess.Popen([command], shell=True,
stdout=subprocess.PIPE,
stderr=subprocess.PIPE)
output, error = process.communicate()
status = process.returncode
print(status)```
不能连接任何非字符串(或铸造为字符串)的内容。我假设不能直接将数据帧作为命令行参数传递,因此我建议将其转换为文件并传递文件路径,而不是数据帧本身
df.to_csv('mydf.csv')
command = 'spark-submit TestRunner.py mydf.csv ' + email
不能连接任何非字符串(或铸造为字符串)的内容。我假设不能直接将数据帧作为命令行参数传递,因此我建议将其转换为文件并传递文件路径,而不是数据帧本身
df.to_csv('mydf.csv')
command = 'spark-submit TestRunner.py mydf.csv ' + email
test\u cases
是您的数据帧吗?test\u cases
是您的数据帧吗?