Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/cassandra/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java hadoop-hadoop jar输入路径问题_Java_Postgresql_Hadoop_Mapreduce - Fatal编程技术网

Java hadoop-hadoop jar输入路径问题

Java hadoop-hadoop jar输入路径问题,java,postgresql,hadoop,mapreduce,Java,Postgresql,Hadoop,Mapreduce,我遇到的问题是hadoop jar命令需要输入路径,但我的MapReduce作业从数据库获取输入,因此不需要/没有输入目录。我已经将JobConf inputformat设置为DBInputFormat,但是当我的作业不一致时,如何表示这一点呢 //Here is the command hadoop jar <my-jar> <hdfs input> <hdfs output> //下面是命令 hadoop jar 我有一个输出文件夹,但不需要输入文件夹

我遇到的问题是hadoop jar命令需要输入路径,但我的MapReduce作业从数据库获取输入,因此不需要/没有输入目录。我已经将JobConf inputformat设置为DBInputFormat,但是当我的作业不一致时,如何表示这一点呢

//Here is the command
hadoop jar <my-jar> <hdfs input> <hdfs output>
//下面是命令
hadoop jar

我有一个输出文件夹,但不需要输入文件夹。有没有办法避免这种情况?我是否需要编写第二个程序将DB数据拉入文件夹,然后在MapReduce作业中使用它?

hadoop jar命令不需要命令行参数,除了主类之外。map/reduce作业的命令行参数将由程序本身决定。因此,如果它不再需要HDFS输入路径,则需要将代码更改为不需要该路径

public class MyJob extends Configured implements Tool
{
   public void run(String[] args) throws Exception {
     // ...
     TextInputFormat.setInputPaths(job, new Path(args[0])); // or some other file input format
     TextOutputFormat.setOutputPath(job, new Path(args[1]));
   }
}

因此,您将删除输入路径语句。对作业进行JAR'ing没有什么神奇之处,只需更改输入格式(您说过您这样做了),就应该进行设置

hadoop jar命令不需要命令行参数,除了主类之外。map/reduce作业的命令行参数将由程序本身决定。因此,如果它不再需要HDFS输入路径,则需要将代码更改为不需要该路径

public class MyJob extends Configured implements Tool
{
   public void run(String[] args) throws Exception {
     // ...
     TextInputFormat.setInputPaths(job, new Path(args[0])); // or some other file input format
     TextOutputFormat.setOutputPath(job, new Path(args[1]));
   }
}
因此,您将删除输入路径语句。对作业进行JAR'ing没有什么神奇之处,只需更改输入格式(您说过您这样做了),就应该进行设置