Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
在Spark中转储hadoop配置_Hadoop_Apache Spark - Fatal编程技术网
Fatal编程技术网
  • hadoop/
  • 在Spark中转储hadoop配置

在Spark中转储hadoop配置

hadoop apache-spark

在Spark中转储hadoop配置,hadoop,apache-spark,Hadoop,Apache Spark,我使用sc.hadoopConfiguration.set来设置配置。 如何转储这些配置？在控制台上打印它们或将它们转储到文件中您可以将hadoop配置转储到xml文件中（我假设您使用的是Scala） val out = new FileOutputStream("conf.xml") sc.hadoopConfiguration.writeXml(out)

我使用
sc.hadoopConfiguration.set
来设置配置。
如何转储这些配置？在控制台上打印它们或将它们转储到文件中

您可以将hadoop配置转储到xml文件中（我假设您使用的是Scala）

    val out = new FileOutputStream("conf.xml")
    sc.hadoopConfiguration.writeXml(out)