Python 将%%local变量从jupyter中运行的dotenv传递到Azure HDInsight pyspark群集 简介

详细说明如何在本地安装jupyter并在Azure HDInsight群集上工作。这很好地解决了问题

然而：

并非所有本地可用的python包都可以在集群上使用

在将单元格“提交”到集群之前，可能需要进行一些本地处理

我知道未安装的python包可以通过和安装，但是考虑到我们在本地使用

dotenv

，这些似乎不是可行的解决方案

问题

使用git进行源代码控制

Git Repo在我们存储的开发机器上是本地的

.env

文件中的配置/敏感环境变量 本地（它们未签入git）

dotenv

包用于 读取敏感变量并在本地设置以执行

水滴存储 帐户名和密钥就是这些变量的示例

如何将这些本地设置的变量传递给pyspark单元格？

---

本地单元示例

其次是pyspark电池

---

找到了解决方案吗？：）找到了此问题的解决方案？：）