Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/azure/11.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
在azure devops管道中找不到Databricks命令_Azure_Azure Devops_Databricks_Azure Databricks - Fatal编程技术网

在azure devops管道中找不到Databricks命令

在azure devops管道中找不到Databricks命令,azure,azure-devops,databricks,azure-databricks,Azure,Azure Devops,Databricks,Azure Databricks,我正在尝试通过Azure Devops管道将文件复制到Azure Databricks DBFS。以下是我正在使用的yml文件的一个片段: stages: - stage: MYBuild displayName: "My Build" jobs: - job: BuildwhlAndRunPytest pool: vmImage: 'ubuntu-16.04' steps: - task: UsePyth

我正在尝试通过Azure Devops管道将文件复制到Azure Databricks DBFS。以下是我正在使用的yml文件的一个片段:

stages:
- stage: MYBuild
  displayName: "My Build"
  jobs:
    - job: BuildwhlAndRunPytest
      pool:
        vmImage: 'ubuntu-16.04'

      steps:
      - task: UsePythonVersion@0
        displayName: 'Use Python 3.7'
        inputs:
          versionSpec: '3.7'
          addToPath: true
          architecture: 'x64'

      - script: |
          pip install pytest requests setuptools wheel pytest-cov
          pip install -U databricks-connect==7.3.*
        displayName: 'Load Python Dependencies'

      - checkout: self
        persistCredentials: true
        clean: true

      - script: |
          echo "y
          $(databricks-host)
          $(databricks-token)
          $(databricks-cluster)
          $(databricks-org-id)
          8787" | databricks-connect configure
          databricks-connect test
        env:
          databricks-token: $(databricks-token)
        displayName: 'Configure DBConnect'

      - script: |
          databricks fs cp test-proj/pyspark-lib/configs/config.ini dbfs:/configs/test-proj/config.ini
在调用databricks fs cp命令的阶段出现以下错误:

/home/vsts/work/_temp/2278f7d5-1d96-4c4e-a501-77c07419773b.sh: line 7: databricks: command not found

但是,当我运行
databricks connect test
时,它能够成功地执行该命令。如果我遗漏了某些步骤,请提供帮助。

databricks命令位于
databricks cli
包中,而不是
databricks connect
中,因此您需要更改
pip install
命令

另外,对于
databricks
命令,您只需设置环境变量
databricks\u HOST
databricks\u令牌
,它就会工作,如下所示:

-脚本:|
pip安装pytest请求设置工具控制盘
pip安装-U databricks cli
displayName:“加载Python依赖项”
-脚本:|
数据块fs cp。。。dbfs:/。。。
环境:
DATABRICKS\u主机:$(DATABRICKS\u主机)
数据块令牌:$(数据块令牌)
displayName:“复制工件”
这里是一个关于如何在Databricks+笔记本上制作CI/CD的示例。你也可能对这件事感兴趣