mapreduce中的job.get()和job.getBoolean()是什么
我正在研究hadoop上的pdf文档聚类,所以我正在通过阅读互联网上的一些示例来学习mapreducemapreduce中的job.get()和job.getBoolean()是什么,map,hadoop,mapreduce,hdfs,hadoop-streaming,Map,Hadoop,Mapreduce,Hdfs,Hadoop Streaming,我正在研究hadoop上的pdf文档聚类,所以我正在通过阅读互联网上的一些示例来学习mapreduce job.get("map.input.file") job.getboolean() 这些函数的功能是什么?map.input.file到底是什么?在哪里设置?或者它只是输入文件夹的一个名称? 请张贴答案,如果有人知道 有关代码,请参见以下链接 wordcount 2.0示例=这些是作业配置。i、 e.传递给每个映射器和减速器的一组配置。现在,这些配置既包括用户定义的配置,也包括用户定义的配
job.get("map.input.file")
job.getboolean()
这些函数的功能是什么?map.input.file到底是什么?在哪里设置?或者它只是输入文件夹的一个名称?
请张贴答案,如果有人知道
有关代码,请参见以下链接
wordcount 2.0示例=这些是作业配置。i、 e.传递给每个映射器和减速器的一组配置。现在,这些配置既包括用户定义的配置,也包括用户定义的配置 在您的例子中,
map.input.file
是一个预定义的配置,它被设置为一个逗号分隔的列表,其中列出了您设置为输入路径的所有路径
而wordcount.skip.patterns
是根据用户输入设置的自定义配置,您可以在run()
中看到如下设置:
conf.setBoolean("wordcount.skip.patterns", true);
至于何时使用get
以及何时使用getBoolean
,这应该是不言自明的,因为每当您想要设置布尔类型的值时,您将分别使用getBoolean
和setBoolean
来获取和设置特定的配置值。同样,对于其他数据类型也有特定的方法。如果是字符串,则可以使用get()