Maven %sh命令通过Databrics中的笔记本安装mvn库

Maven %sh命令通过Databrics中的笔记本安装mvn库,maven,databricks,azure-databricks,Maven,Databricks,Azure Databricks,在Databricks中安装库的方法多种多样,例如使用GUI、Databricks CLI等 我想知道是否可以通过笔记本中的“%sh”命令安装Maven库。例如,在Python库的笔记本中执行此操作的一个选项是: dbutils.library.installPyPI() 对Python库使用“%sh”的另一个选项可能是执行以下操作: %sh sudo apt-get install python3-pip -y pip3 install --upgrade pyodbc %sh mvn i

在Databricks中安装库的方法多种多样,例如使用GUI、Databricks CLI等

我想知道是否可以通过笔记本中的“%sh”命令安装Maven库。例如,在Python库的笔记本中执行此操作的一个选项是:

dbutils.library.installPyPI()
对Python库使用“%sh”的另一个选项可能是执行以下操作:

%sh
sudo apt-get install python3-pip -y
pip3 install --upgrade pyodbc
%sh
mvn install --maven-coordinates "com.microsoft.azure.kusto:spark-kusto-connector:2.0.0"
Maven库是否有相应的“%sh”命令,例如:

%sh
sudo apt-get install python3-pip -y
pip3 install --upgrade pyodbc
%sh
mvn install --maven-coordinates "com.microsoft.azure.kusto:spark-kusto-connector:2.0.0"

不,在笔记本内部没有这样的命令可以执行,
%sh
在这里没有帮助,因为此命令将仅在驱动程序节点上执行,而库(-ies)需要安装在集群的所有节点上。您可以选择以下方法将库安装到群集:

  • 创建集群之后
  • 在中创建库并将其附加到群集中
  • 安装将在所有节点上执行的库-这对于Python或R库来说很方便,但对于Maven来说可能更难,因为您还需要提取依赖项
  • 通过将库安装到现有群集
  • 通过将库安装到现有集群(在引擎盖下使用REST API)
  • 使用Databricks Terraform Provider并定义或与库一起使用