Pyspark 有没有办法在Databricks笔记本中参数化魔术命令?

Pyspark 有没有办法在Databricks笔记本中参数化魔术命令?,pyspark,databricks,Pyspark,Databricks,我想使用%run将配置文件中的变量导入到DataRicks笔记本中。 但是我找不到在%run之后动态更改文件的方法 我已尝试指定如下参数: config='./config.py' %运行$config 但它不起作用。我无法使用dbutils.notebook.run(config),因为我无法访问主笔记本中的变量 可以想出一个办法吗?< P>既然你已经提到了配置文件,我会考虑你已经在一些路径上已经有了可用的配置文件,而那些不是DaskRokes笔记本。 您可以在一个笔记本中使用python-c

我想使用%run将配置文件中的变量导入到DataRicks笔记本中。 但是我找不到在%run之后动态更改文件的方法

我已尝试指定如下参数: config='./config.py' %运行$config 但它不起作用。我无法使用dbutils.notebook.run(config),因为我无法访问主笔记本中的变量


可以想出一个办法吗?

< P>既然你已经提到了配置文件,我会考虑你已经在一些路径上已经有了可用的配置文件,而那些不是DaskRokes笔记本。 您可以在一个笔记本中使用python-configparser读取配置文件,并在主笔记本中使用%run指定笔记本路径(或者您可以在主笔记本中使用configparser忽略笔记本本身)


参考:

是否可以配置解析器解析.py文件?我不想将配置保存在.py文件中,因为其中有一些复杂的数据类型。通常这很容易,因为您只需>导入配置,但在Databricks中无法做到这一点,因此希望使用%run。但我不想根据用例动态运行不同的config.py文件。我的最佳解决方案是保持>%run Config.py静态运行,并将其他.py文件动态重命名为./Config.py,具体取决于我要使用的文件。