Java 如何在maven中为hadoop WordCount提供参数

我正在eclipse中做Hadoop

WordCount.java

我将输入和输出路径作为参数

我正在尝试将我的hadoop MR从EclipseJuno转换为maven

我编写了pom.xml。但是我应该在哪里包括我的参数呢

• input:/home/sree/myfiles/book.txt

• 输出：/home/sree/myfiles/wcout

我编辑的

pom.xml

   <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>TryMaven</groupId>
    <artifactId>TryMaven</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <build>

        <sourceDirectory>src</sourceDirectory>
        <resources>
            <resource>
                <directory>src</directory>
                <excludes>
                    <exclude>**/*.java</exclude>
                </excludes>
            </resource>
        </resources>
        <plugins>
            <plugin>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>2.3.2</version>
                <configuration>
                    <source>1.7</source>
                    <target>1.7</target>
                </configuration>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId>
                <version>2.4</version>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                    <archive>
                        <manifest>
                            <mainClass>org.WordCount</mainClass>

                        </manifest>
                    </archive>
                </configuration>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>org.codehaus.mojo</groupId>
                <artifactId>exec-maven-plugin</artifactId>
                <version>1.2.1</version>
                <configuration>
                    <arguments>
                        <argument>-Dinput=${input}</argument>
                        <argument>-Doutput=${output}</argument>
                        <mainClass>org.WordCount</mainClass>
                    </arguments>
                    <mainClass>org.WordCount</mainClass>
                </configuration>
            </plugin>
        </plugins>
    </build>


    <repositories>

        <repository>
            <id>sonatype-nexus-snapshots</id>
            <url>https://oss.sonatype.org/content/repositories/snapshots</url>
            <releases>
                <enabled>false</enabled>
            </releases>
            <snapshots>
                <enabled>true</enabled>
            </snapshots>
        </repository>
    </repositories>
    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-core</artifactId>
            <version>1.2.1</version>
        </dependency>
    </dependencies>


</project>

4.0.0
特里曼
特里曼
0.0.1-快照
src
src
**/*.爪哇
maven编译器插件
2.3.2
1.7
1.7
org.apache.maven.plugins
maven汇编插件
2.4
带有依赖项的jar
org.WordCount
包裹
单一的
org.codehaus.mojo
execmaven插件
1.2.1
-Dinput=${input}
-Doutput=${output}
org.WordCount
org.WordCount
sonatype nexus快照
https://oss.sonatype.org/content/repositories/snapshots
假的
真的
org.apache.hadoop
hadoop内核
1.2.1

Maven项目是一个构建工具，迁移到Maven后，您仍然可以像以前一样运行程序。这与maven无关

Java解决方案 您可以在根本不使用maven的情况下运行WordCount

java -jar target/TryMaven-0.0.1-SNAPSHOT.jar -Dinput=/home/sree/myfiles/book.txt -Doutput=/home/sree/myfiles/wcout

马文溶液 对pom.xml的更改

<plugin>
    <groupId>org.codehaus.mojo</groupId>
    <artifactId>exec-maven-plugin</artifactId>
    <version>1.2.1</version>
    <configuration>
        <executable>java</executable>
        <arguments>
            <argument>-Dinput=${input}</argument>
            <argument>-Doutput=${output}</argument>

            <argument>-classpath</argument>
            <classpath/>

            <mainClass>org.WordCount</mainClass>
        </arguments>
    </configuration>
</plugin>

您可以直接从Eclipse执行此目标

---

runas

->

Maven bulid

并使用所需参数指定目标

exec:exec

，参数是文本文件和输出文件夹，用于在hadoop中运行wordcount。我将对此进行解释。我正在集群和eclipse中使用hadoop。因此，在eclipse中运行时，我将把它们作为普通参数传递，即runas->run-configuration。并指定如下参数“/home/sree/myfiles/book.txt/home/sree/myfiles/wc”我看到您已经包含了exec maven插件，因此您应该在哪里添加参数，请参阅。如果您运行

mvn exec:java

我希望它能工作。Maven配置可以吗？在

mvn包

之后生成成功？确定。但我正在把我的项目转给Maven。所以我需要在没有命令行的情况下在eclipse中运行它，我想你没有得到我…：（这个pom.xml很好。但是它是使用命令行选项运行的。但是在设置了pom.xml之后，我需要从eclipse run as->Maven bulidshowing将整个命令粘贴到目标中，但是得到：未知生命周期阶段“mvn”.remove

mvn

关键字，这是不需要的。目标是

exec:exec-Dinput=/home/sree/myfiles/book.txt-Doutput=/home/sree/myfiles/wcout

通常我作为compile clean package exec:java运行…这在目标中是不需要的？这个目标“compile clean package exec:java”是什么？

mvn exec:exec -Dinput=/home/sree/myfiles/book.txt -Doutput=/home/sree/myfiles/wcout