Apache spark 如何获取Azure Databricks笔记本运行详细信息

Apache spark 如何获取Azure Databricks笔记本运行详细信息,apache-spark,pyspark,azure-data-factory,databricks,azure-databricks,Apache Spark,Pyspark,Azure Data Factory,Databricks,Azure Databricks,我正在使用Azure Data Factory运行我的databricks笔记本,它在运行时创建作业集群,现在我想知道这些作业的状态,我的意思是它们是成功还是失败。 因此,我想知道,如何使用作业id或运行id获取运行状态 注意:我没有在我的DataRicks工作区中创建任何作业,我正在使用Azure Data Factory运行我的笔记本电脑,Azure Data Factory在运行时创建了作业群集,它在该群集上运行该笔记本电脑,然后终止该群集。您必须转到Azure Data Factory中

我正在使用Azure Data Factory运行我的databricks笔记本,它在运行时创建作业集群,现在我想知道这些作业的状态,我的意思是它们是成功还是失败。 因此,我想知道,如何使用作业id或运行id获取运行状态


注意:我没有在我的DataRicks工作区中创建任何作业,我正在使用Azure Data Factory运行我的笔记本电脑,Azure Data Factory在运行时创建了作业群集,它在该群集上运行该笔记本电脑,然后终止该群集。您必须转到Azure Data Factory中的监视器页面。您可以在此处按runId进行筛选


很高兴知道您的问题已经解决。您可以将其作为答案接受(单击答案旁边的复选标记,将其从灰显切换为填充)。这可能对其他社区成员有益。非常感谢。
import json
import requests

gethooks= "https://" + databricks_instance_name + "/api/2.0/jobs/runs/list"     #add your databricks workspace instance name over here
headers={"Authorization": "Bearer ********************"}        # Add your databricks access token
response = requests.get(gethooks, headers=headers)

print(response.json())      # you will get all cluster and job related info over here in json format

# traversing through response.json
for element in response.json()['runs']:
    job_id = element['job_id']
    status = element['state']['result_state']
    job_path = element['task']['notebook_task']['notebook_path']
    job_name = job_path.split('/')