Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/typo3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 如果Databricks作业需要超过1小时，它将停止向ADL写入数据_Apache Spark_Azure Databricks - Fatal编程技术网
Fatal编程技术网
  • apache-spark/
  • Apache spark 如果Databricks作业需要超过1小时，它将停止向ADL写入数据

Apache spark 如果Databricks作业需要超过1小时，它将停止向ADL写入数据

apache-spark

Apache spark 如果Databricks作业需要超过1小时，它将停止向ADL写入数据,apache-spark,azure-databricks,Apache Spark,Azure Databricks,如果Databricks作业需要超过1小时，它将停止向ADL写入数据。 这可能是因为访问令牌过期 这意味着一些大型数据集无法写入磁盘，因为仅仅写入就需要一个多小时。在其他情况下，如果先完成一些计算，然后再将最终输出写入磁盘，则可以在一小时内完成写入 任何可能的解决方法都将被推荐尝试增加心跳interval@salim云，你能多说几句吗？没办法找到你

如果Databricks作业需要超过1小时，它将停止向ADL写入数据。 这可能是因为访问令牌过期

这意味着一些大型数据集无法写入磁盘，因为仅仅写入就需要一个多小时。在其他情况下，如果先完成一些计算，然后再将最终输出写入磁盘，则可以在一小时内完成写入

任何可能的解决方法都将被推荐

尝试增加心跳interval@salim云，你能多说几句吗？没办法找到你