在本地/远程Hadoop配置之间切换

在本地/远程Hadoop配置之间切换,hadoop,Hadoop,有没有一种简单的方法可以在本地运行Hadoop作业和在远程集群上运行它们之间切换?我更喜欢在本地进行所有开发并通过命令行运行,更改参数或环境变量以在本地或远程集群上运行之间切换 在上下文中,我有一个安装了Hadoop的Linux虚拟机。我对Hadoop相当陌生,但可以在那里运行本地作业 相关问题:Hadoop配置有哪些好的文档 也许你可以研究hadoop的字数,在运行程序之前,你可以设置一些参数来补充你的工作 如下所示,在WordCount的main方法中,您可以设置这个参数来完成我自己添加的这

有没有一种简单的方法可以在本地运行Hadoop作业和在远程集群上运行它们之间切换?我更喜欢在本地进行所有开发并通过命令行运行,更改参数或环境变量以在本地或远程集群上运行之间切换

在上下文中,我有一个安装了Hadoop的Linux虚拟机。我对Hadoop相当陌生,但可以在那里运行本地作业


相关问题:Hadoop配置有哪些好的文档

也许你可以研究hadoop的字数,在运行程序之前,你可以设置一些参数来补充你的工作

如下所示,在WordCount的main方法中,您可以设置这个参数来完成我自己添加的这个句子。请看图片。祝你好运


为了在本地和远程作业之间切换,除了fs.default.name外,还必须设置哪些配置键?此键足够了。因为当作业运行时,它将检查此键以决定使用哪个FileSystemlocal、HDFS或其他文件。你可以打印这把钥匙来检查设置是否正确。