Python 如何在Azure DataBricks中获取runID或processid?

Python 如何在Azure DataBricks中获取runID或processid?,python,azure,pyspark,pid,azure-databricks,Python,Azure,Pyspark,Pid,Azure Databricks,我一直在尝试在DataBricks中获取RUNID或进程id。 我所说的RUNID或进程id是指每次笔记本运行时都生成一个唯一的id。 嗯,我尝试了一些方法,但它们给出的是会话id,而不是运行id。 以下是: dbutils.notebook.entry_point.getDbutils().notebook().getContext().tags().apply('sessionId') 我试图调用bash env %sh ps -fe 以下代码返回空值: %scala dbutils.n

我一直在尝试在DataBricks中获取RUNID或进程id。 我所说的RUNID或进程id是指每次笔记本运行时都生成一个唯一的id。 嗯,我尝试了一些方法,但它们给出的是会话id,而不是运行id。 以下是:

dbutils.notebook.entry_point.getDbutils().notebook().getContext().tags().apply('sessionId')
我试图调用bash env

%sh
ps -fe
以下代码返回空值:

%scala
dbutils.notebook.getContext.rootRunId
你能帮我度过这段时间吗

谢谢,

注意:只有由Databricks executor启动的作业使用阶段中指定的作业ID显示。作业ID对于作业的所有实例都是相同的

您可以在Data Collector日志中找到特定实例的运行ID

Databricks执行器还将作业的运行ID写入事件记录。要保留所有运行ID的记录,请启用阶段的事件生成

获取任何给定作业的RunId有不同的方法:

Azure Databricks门户用户界面:通过单击作业选项卡,您可以查看您创建的所有作业

选择任何作业以获取每次运行的详细RunId

使用Kusto查询语言的Azure Portal用户界面:如果您已配置诊断日志传递,则可以使用KQL查询获取作业ID和运行ID:

databricksrestapi:您可以使用下面的restapi命令来获取作业和运行的列表

curl "https://centralus.azuredatabricks.net/api/2.0/jobs/runs/list" -X GET -H "Authorization: Bearer dapia08sjflksjs9jfra6a34a"

希望这能有所帮助。

您尝试过dbutils.notebook.getContext.currentRunId吗?@Blackishop是的,先生,它返回了一个包含null@blackbishop我在笔记本中打开一个新单元格,执行shared命令,它返回res0:Option[com.databricks.backend.common.storage.elasticspark.RunId]=非因此可以通过UI获取作业ID,但不能从代码中获取?真遗憾,你可以从用户界面上得到JobIB。签出Azure Databricks门户用户界面部分。