Google cloud dataflow 使用云函数触发数据流（Python SDK）作业

我需要在gcs中处理传入的csv文件

我无法通过云函数中的shell命令触发执行，例如：

subprocess.run([
    "python", "-W", "ignore", "dataflow_ingestion_engine.py",
    "gs://logs-check/csv_input/input2.csv", "--runner", "DataflowRunner"]
    )

或 云函数不执行shell执行部分（在日志中看不到任何内容）。

---

如何实现使用云函数触发数据流（Python SDK）的要求？

您不能使用子进程命令从云函数调用数据流作业。您必须从云函数代码中调用REST或gRPC

可以在此处找到运行模板的示例作业[1]

您可以参考此内容并提交自己的作业

---

1-

不能使用子进程命令从云函数调用数据流作业。您必须从云函数代码中调用REST或gRPC

可以在此处找到运行模板的示例作业[1]

您可以参考此内容并提交自己的作业

---

1-

你能分享一些关于创建模板的教程吗？你可以看看。此外，在dataflow作业页面中，已有多个模板可用。所有这些模板都可以在这里找到-。如果这个答案有帮助，请接受这个答案。谢谢你的回答，但是谷歌创建模板的教程不是很好。谢谢你的反馈，在最后的教程中有一个提供反馈的链接。如果您能提供您的反馈，以便我们能够改进您的建议，那就太好了。您能分享一些关于创建模板的教程吗？您可以看看。此外，在dataflow作业页面中，已有多个模板可用。所有这些模板都可以在这里找到-。如果这个答案有帮助，请接受这个答案。谢谢你的回答，但是谷歌创建模板的教程不是很好。谢谢你的反馈，在最后的教程中有一个提供反馈的链接。如果您能提供反馈意见，以便我们改进您的建议，那就太好了。

command = """
python tmp/dataflow_ingestion_engine.py gs://logs-check/csv_input/input2.csv --runner DataflowRunner
"""
os.system(command)