Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/324.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python Databricks只打印大约280行数据_Python_Python 3.x_Databricks_Azure Data Lake - Fatal编程技术网

Python Databricks只打印大约280行数据

Python Databricks只打印大约280行数据,python,python-3.x,databricks,azure-data-lake,Python,Python 3.x,Databricks,Azure Data Lake,我正在Databricks中运行一些大型作业,目前包括清点数据湖。我正在尝试打印前缀(子文件夹)中的所有blob名称。这些子文件夹中有很多文件,我打印了大约280行文件名,但是我看到了:***警告:跳过了494256字节的输出***,然后,我又打印了280行 我猜有一个控件可以改变这个,对吧。我当然希望如此。这是为处理大数据而设计的,而不是约280条记录。我知道巨大的数据集很容易使浏览器崩溃,但通常情况下,这基本上什么都不是。经过进一步的研究,我偶然发现了一些对我有用的东西 此外,这将显示数据

我正在Databricks中运行一些大型作业,目前包括清点数据湖。我正在尝试打印前缀(子文件夹)中的所有blob名称。这些子文件夹中有很多文件,我打印了大约280行文件名,但是我看到了:
***警告:跳过了494256字节的输出***
,然后,我又打印了280行


我猜有一个控件可以改变这个,对吧。我当然希望如此。这是为处理大数据而设计的,而不是约280条记录。我知道巨大的数据集很容易使浏览器崩溃,但通常情况下,这基本上什么都不是。

经过进一步的研究,我偶然发现了一些对我有用的东西

此外,这将显示数据帧的内容

display(df)

因此,这将生成您直接在上面看到的视图。

注意:使用GUI,您可以下载完整结果(最多一百万行)

要下载完整结果(超过100万),请首先将文件保存到dbfs,然后使用Databricks cli将文件复制到本地计算机,如下所示

dbfs cp“dbfs:/FileStore/tables/AA.csv”“A:\AzureAnalytics”

参考资料:

DBFS命令行界面(CLI)使用DBFS API向DBFS公开易于使用的命令行界面。使用此客户机,您可以使用与Unix命令行上使用的命令类似的命令与DBFS交互。例如:

# List files in DBFS
dbfs ls
# Put local file ./apple.txt to dbfs:/apple.txt
dbfs cp ./apple.txt dbfs:/apple.txt
# Get dbfs:/apple.txt and save to local file ./apple.txt
dbfs cp dbfs:/apple.txt ./apple.txt
# Recursively put local dir ./banana to dbfs:/banana
dbfs cp -r ./banana dbfs:/banana
参考资料:


希望这能有所帮助。

Hi@asher您可以接受它作为答案(单击答案旁边的复选标记,将其从灰色变为填充。)。这可能对其他社区成员有益。谢谢,我几天前就知道了。谢谢你试着帮助我!