如何将runId传递给lambda工作流触发的粘合作业?(Python)
目前我知道,如果直接使用如何将runId传递给lambda工作流触发的粘合作业?(Python),python,pyspark,aws-lambda,aws-glue,Python,Pyspark,Aws Lambda,Aws Glue,目前我知道,如果直接使用start\u job\u run()触发粘合作业,则可以将参数直接传递给粘合作业。但是,如果我想触发一个工作流,该工作流随后会触发作业,但首先要做一些初始工作,该怎么办?我相信我可以设置工作流属性,但为了使用get\u workflow\u run\u properties()检索它们,我需要使用name(容易完成)和runId(不容易完成)作为参数,这是一个难题 我的触发代码: def lambda_handler(event, context): glue_
start\u job\u run()
触发粘合作业,则可以将参数直接传递给粘合作业。但是,如果我想触发一个工作流,该工作流随后会触发作业,但首先要做一些初始工作,该怎么办?我相信我可以设置工作流属性,但为了使用get\u workflow\u run\u properties()
检索它们,我需要使用name(容易完成)和runId(不容易完成)作为参数,这是一个难题
我的触发代码:
def lambda_handler(event, context):
glue_client = boto3.client("glue")
workflow_name = os.environ["workflow_name"]
try:
response = glue_client.start_workflow_run(Name=workflow_name)
run_id = response["RunId"]
except Exception as e:
logging.error(e)
try:
response = glue_client.put_workflow_run_properties(
Name=workflow_name,
RunId=run_id
RunProperties={
'runId': run_id,
'someOtherParameter": "12345"
}
)
except Exception as e:
logging.error(e)