Python 如何使用参数创建databricks作业
我正在使用databricks cli在databricks中创建一个新作业:Python 如何使用参数创建databricks作业,python,azure,pyspark,databricks,azure-cli,Python,Azure,Pyspark,Databricks,Azure Cli,我正在使用databricks cli在databricks中创建一个新作业: databricks jobs create --json-file ./deploy/databricks/config/job.config.json 使用以下json: { "name": "Job Name", "new_cluster": { "spark_version": "4.1.x-scala2.11", "node_type_id": "Stand
databricks jobs create --json-file ./deploy/databricks/config/job.config.json
使用以下json:
{
"name": "Job Name",
"new_cluster": {
"spark_version": "4.1.x-scala2.11",
"node_type_id": "Standard_D3_v2",
"num_workers": 3,
"spark_env_vars": {
"PYSPARK_PYTHON": "/databricks/python3/bin/python3"
}
},
"libraries": [
{
"maven": {
"coordinates": "com.microsoft.sqlserver:mssql-jdbc:6.5.3.jre8-preview"
}
}
],
"timeout_seconds": 3600,
"max_retries": 3,
"schedule": {
"quartz_cron_expression": "0 0 22 ? * *",
"timezone_id": "Israel"
},
"notebook_task": {
"notebook_path": "/notebooks/python_notebook"
}
}
我想添加可通过以下方式在笔记本中访问的参数:
dbutils.widgets.text("argument1", "<default value>")
dbutils.widgets.get("argument1")
dbutils.widgets.text(“argument1”和“”)
dbutils.widgets.get(“argument1”)
经过一点调整后找到了答案,您可以简单地扩展笔记本任务
属性以包括基本参数
,如下所示:
{
"notebook_task": {
"notebook_path": "/social/04_batch_trends",
"base_parameters": {
"argument1": "value 1",
"argument2": "value 2"
}
}
}
这在Jobs API的中有记录。它列出了notebook\u任务
参数,该参数可以是以下类型。是NotebookTask数据结构的文档,如Jobs API的中所述。