Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 我如何才能在没有“py4j.java\u网关:错误”的情况下优雅地完成pyspark单元测试?_Apache Spark_Pyspark_Gateway_Py4j - Fatal编程技术网

Apache spark 我如何才能在没有“py4j.java\u网关:错误”的情况下优雅地完成pyspark单元测试?

Apache spark 我如何才能在没有“py4j.java\u网关:错误”的情况下优雅地完成pyspark单元测试?,apache-spark,pyspark,gateway,py4j,Apache Spark,Pyspark,Gateway,Py4j,当测试结束时,我如何才能优雅地完成pyspark单元测试而不看到这个恼人的错误?python客户端似乎正在失去与spark上下文或类似内容的通信 错误:py4j.java_网关:发送或接收时出错。回溯 (最近一次调用上次):文件 “C:\Spark\python\lib\py4j-0.10.1-src.zip\py4j\java_gateway.py”,第行 826,在send_命令连接中重置错误:[WinError 10054] 远程主机已强制关闭现有连接 信息:root:发送命令时发生异常

当测试结束时,我如何才能优雅地完成pyspark单元测试而不看到这个恼人的错误?python客户端似乎正在失去与spark上下文或类似内容的通信

错误:py4j.java_网关:发送或接收时出错。回溯 (最近一次调用上次):文件 “C:\Spark\python\lib\py4j-0.10.1-src.zip\py4j\java_gateway.py”,第行 826,在send_命令连接中重置错误:[WinError 10054] 远程主机已强制关闭现有连接 信息:root:发送命令时发生异常


您能粘贴导致问题的代码吗?我正在使用安装和拆卸方法进行测试我正在使用安装和拆卸方法进行测试
class TestPySpark:\u spark\u session=None
def setup\u method(self):self.\u spark\u session=original\u module.get\u spark\u session()
def teardown\u方法(session):self.\u spark\u session.stop()
def get\u spark\u session(master\u name='local'):spark\u config=SparkConf().setAppName('PySparkShell')\.setMaster(master\u name)spark\u context=SparkContext(conf=spark\u config)返回SparkSession(spark\u context)