Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 如何在spark中记录数据帧？_Apache Spark_Apache Spark Sql - Fatal编程技术网
Fatal编程技术网
  • apache-spark/
  • Apache spark 如何在spark中记录数据帧？

Apache spark 如何在spark中记录数据帧？

apache-spark

Apache spark 如何在spark中记录数据帧？,apache-spark,apache-spark-sql,Apache Spark,Apache Spark Sql,我对spark比较陌生。然而，我需要找到一种方法，通过这种方法，我们可以看到在什么时候访问哪个数据帧。这可以通过本机spark日志记录实现吗 如果是这样，那么我该如何实现这一点？？？DAG可视化和事件时间线是spark 1.4中提供的两个非常重要的内置spark工具，您可以使用它们来查看使用了哪些DF/RDD以及在哪些步骤中。请参阅此处的更多详细信息-

我对spark比较陌生。然而，我需要找到一种方法，通过这种方法，我们可以看到在什么时候访问哪个数据帧。这可以通过本机spark日志记录实现吗

如果是这样，那么我该如何实现这一点？？？

DAG可视化和事件时间线是spark 1.4中提供的两个非常重要的内置spark工具，您可以使用它们来查看使用了哪些DF/RDD以及在哪些步骤中。请参阅此处的更多详细信息-