Python Databricks只打印大约280行数据
我正在Databricks中运行一些大型作业,目前包括清点数据湖。我正在尝试打印前缀(子文件夹)中的所有blob名称。这些子文件夹中有很多文件,我打印了大约280行文件名,但是我看到了:Python Databricks只打印大约280行数据,python,python-3.x,databricks,azure-data-lake,Python,Python 3.x,Databricks,Azure Data Lake,我正在Databricks中运行一些大型作业,目前包括清点数据湖。我正在尝试打印前缀(子文件夹)中的所有blob名称。这些子文件夹中有很多文件,我打印了大约280行文件名,但是我看到了:***警告:跳过了494256字节的输出***,然后,我又打印了280行 我猜有一个控件可以改变这个,对吧。我当然希望如此。这是为处理大数据而设计的,而不是约280条记录。我知道巨大的数据集很容易使浏览器崩溃,但通常情况下,这基本上什么都不是。经过进一步的研究,我偶然发现了一些对我有用的东西 此外,这将显示数据
***警告:跳过了494256字节的输出***
,然后,我又打印了280行
我猜有一个控件可以改变这个,对吧。我当然希望如此。这是为处理大数据而设计的,而不是约280条记录。我知道巨大的数据集很容易使浏览器崩溃,但通常情况下,这基本上什么都不是。经过进一步的研究,我偶然发现了一些对我有用的东西 此外,这将显示数据帧的内容
display(df)
因此,这将生成您直接在上面看到的视图。注意:使用GUI,您可以下载完整结果(最多一百万行) 要下载完整结果(超过100万),请首先将文件保存到dbfs,然后使用Databricks cli将文件复制到本地计算机,如下所示 dbfs cp“dbfs:/FileStore/tables/AA.csv”“A:\AzureAnalytics” 参考资料: DBFS命令行界面(CLI)使用DBFS API向DBFS公开易于使用的命令行界面。使用此客户机,您可以使用与Unix命令行上使用的命令类似的命令与DBFS交互。例如:
# List files in DBFS
dbfs ls
# Put local file ./apple.txt to dbfs:/apple.txt
dbfs cp ./apple.txt dbfs:/apple.txt
# Get dbfs:/apple.txt and save to local file ./apple.txt
dbfs cp dbfs:/apple.txt ./apple.txt
# Recursively put local dir ./banana to dbfs:/banana
dbfs cp -r ./banana dbfs:/banana
参考资料:
希望这能有所帮助。Hi@asher您可以接受它作为答案(单击答案旁边的复选标记,将其从灰色变为填充。)。这可能对其他社区成员有益。谢谢,我几天前就知道了。谢谢你试着帮助我!