Python PySpark:从另一个笔记本导入变量时,如何在PySpark单元格中抑制%run输出?

Python PySpark:从另一个笔记本导入变量时,如何在PySpark单元格中抑制%run输出?,python,import,pyspark,jupyter-notebook,databricks,Python,Import,Pyspark,Jupyter Notebook,Databricks,我正在PySpark中使用多个笔记本电脑,并使用%run path在这些笔记本电脑之间导入变量。每次我运行该命令时,我在原始笔记本中显示的所有变量都会再次显示在当前笔记本(运行了我%的笔记本)中。但我不希望它们显示在当前笔记本中。我只希望能够使用导入的变量。如何抑制每次显示的输出?注意,我不确定这是否重要,但我在DataBricks工作。谢谢大家! 命令示例: %run /Users/myemail/Nodebook 这是预期的行为,当您使用%run命令时,允许您在笔记本中包含另一个笔记本。此

我正在PySpark中使用多个笔记本电脑,并使用
%run path
在这些笔记本电脑之间导入变量。每次我运行该命令时,我在原始笔记本中显示的所有变量都会再次显示在当前笔记本(运行了我%的笔记本)中。但我不希望它们显示在当前笔记本中。我只希望能够使用导入的变量。如何抑制每次显示的输出?注意,我不确定这是否重要,但我在DataBricks工作。谢谢大家!

命令示例:

%run /Users/myemail/Nodebook

这是预期的行为,当您使用%run命令时,允许您在笔记本中包含另一个笔记本。此命令允许您连接表示关键ETL步骤、Spark分析步骤或特别探索的各种笔记本。然而,它缺乏构建更复杂数据管道的能力

笔记本工作流是对%run的补充,因为它们允许您从笔记本返回值。这使您可以轻松构建具有依赖关系的复杂工作流和管道。您可以正确地参数化运行(例如,获取目录中的文件列表,并将名称传递给另一个笔记本,这是%run无法实现的),还可以基于返回值创建if/then/else工作流。笔记本电脑工作流允许您通过相对路径调用其他笔记本电脑

您可以使用dbutils.notebook方法实现笔记本工作流。与所有dbutils API一样,这些方法仅在Scala和Python中可用。但是,可以使用dbutils.notebook.run调用R笔记本


有关更多详细信息,请参阅“”

,不幸的是,我现在只能访问社区版的Databricks。但我想象能够通过如下方式在笔记本上传递参数:dbutils.notebook.run(“笔记本名”,60,{“参数”:“数据”,“参数2”:“数据2”,…})