如何将本地文件复制到Azure Databricks DBFS文件存储

如何将本地文件复制到Azure Databricks DBFS文件存储,databricks,azure-databricks,dbutils,Databricks,Azure Databricks,Dbutils,我正在Azure Databricks中使用以下命令尝试将文件test.csv从本地C:驱动器复制到Databricks dbfs位置,如图所示 dbutils.fs.cp("C:/BoltQA/test.csv", "dbfs:/tmp/test_files/test.csv") 我得到这个错误: java.io.IOException: No FileSystem for scheme: C -----------------------------

我正在Azure Databricks中使用以下命令尝试将文件test.csv从本地C:驱动器复制到Databricks dbfs位置,如图所示

dbutils.fs.cp("C:/BoltQA/test.csv", "dbfs:/tmp/test_files/test.csv")
我得到这个错误:

java.io.IOException: No FileSystem for scheme: C
---------------------------------------------------------------------------
ExecutionError                            Traceback (most recent call last)
<command-3936625823332356> in <module>
----> 1 dbutils.fs.cp("C:/test.csv", "dbfs:/tmp/test_files/test.csv")
      2 

/local_disk0/tmp/1605164901540-0/dbutils.py in f_with_exception_handling(*args, **kwargs)
    312                     exc.__context__ = None
    313                     exc.__cause__ = None
--> 314                     raise exc
    315             return f_with_exception_handling
    316 
请帮忙

很遗憾,您无法使用dbutils.fs.cp命令将文件从本地计算机复制到Databricks文件系统。它过去只在Databricks文件系统上复制文件

有多种方法可以将文件从本地计算机上载到Azure Databricks DBFS文件夹

方法1:使用Azure Databricks门户

方法2:使用Databricks CLI

DBFS命令行界面CLI使用DBFS API向DBFS公开易于使用的命令行界面。使用此客户机,您可以使用与Unix命令行上使用的命令类似的命令与DBFS交互。例如:

# List files in DBFS
dbfs ls
# Put local file ./apple.txt to dbfs:/apple.txt
dbfs cp ./apple.txt dbfs:/apple.txt
# Get dbfs:/apple.txt and save to local file ./apple.txt
dbfs cp dbfs:/apple.txt ./apple.txt
# Recursively put local dir ./banana to dbfs:/banana
dbfs cp -r ./banana dbfs:/banana
参考:

方法3:使用名为DBFS Explorer的第三方工具

被创建为一种将文件上传和下载到DataRicks文件系统DBFS的快速方式。这将适用于AWS和Azure Databricks实例。您需要在web界面中创建一个承载令牌才能连接

步骤1:下载并安装DBFS资源管理器,然后安装它

步骤2:打开DBFS资源管理器并输入:Databricks URL和个人访问令牌

步骤3:选择要从本地计算机上载文件的文件夹,只需拖放要上载的文件夹,然后单击上载


感谢您的回答@CHEEKATLAPRADEEP-MSFT

您可以装载Blob存储容器或容器内的文件夹 到Databricks文件系统DBFS。挂载是指向Blob的指针 存储容器,因此数据永远不会在本地同步。参考


我是否可以先将文件上载到Azure blob存储?Databricks能够从那里获取文件吗?您可以将Blob存储容器或容器内的文件夹装载到Databricks文件系统DBFS。挂载是指向Blob存储容器的指针,因此数据永远不会在本地同步。参考: