Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/336.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Pypark ipython笔记本电脑未打印_Python_Ipython_Pyspark_Spark Dataframe_Jupyter Notebook - Fatal编程技术网

Pypark ipython笔记本电脑未打印

Pypark ipython笔记本电脑未打印,python,ipython,pyspark,spark-dataframe,jupyter-notebook,Python,Ipython,Pyspark,Spark Dataframe,Jupyter Notebook,我有一个pyspark数据框,我需要在ipython笔记本上打印它的一列 def f(e): print e.error errors.foreach(f) 但是,执行上述命令不会打印任何内容,“error”是数据帧中列的名称 当工作线程调用函数但笔记本中未显示打印命令的输出时,也会出现相同的问题 如何使其打印,sys.stdout.flush()也不起作用?虽然只有记录到文件的日志模块才能工作。这与spark有什么关系?@eliasah我遇到了同样的问题。从spark方法中调用pri

我有一个pyspark数据框,我需要在ipython笔记本上打印它的一列

def f(e):
    print e.error
errors.foreach(f)
但是,执行上述命令不会打印任何内容,“error”是数据帧中列的名称

当工作线程调用函数但笔记本中未显示打印命令的输出时,也会出现相同的问题


如何使其打印,
sys.stdout.flush()
也不起作用?虽然只有记录到文件的日志模块才能工作。

这与spark有什么关系?@eliasah我遇到了同样的问题。从spark方法中调用print不会在jupyter笔记本上打印任何内容,而是从常规ipython控制台打印。在spark上下文之外调用print仍然有效,因此这显然是一个spark问题。e、 (在python3中,print是一个函数):df.foreach(print)在控制台中工作,但不在笔记本中。@DaveKirby感谢您的澄清。我知道Spark是如何工作的,我也知道如果你读了文档的第一页,他不会问这个问题。