Warning: file_get_contents(/data/phpspider/zhask/data//catemap/4/maven/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
如何查找Java依赖项?_Java_Maven_Apache Spark_Spark Streaming - Fatal编程技术网

如何查找Java依赖项?

如何查找Java依赖项?,java,maven,apache-spark,spark-streaming,Java,Maven,Apache Spark,Spark Streaming,我正在学习教程。我的代码是: package com.ipponusa; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.streaming.Duration; import org.apache.spark.streaming.api.java.JavaStreamingContext; public class Spa

我正在学习教程。我的代码是:

package com.ipponusa;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.streaming.Duration;
import org.apache.spark.streaming.api.java.JavaStreamingContext;

public class SparkStringConsumer {

    public static void main(String[] args) {

        SparkConf conf = new SparkConf()
                .setAppName("kafka-sandbox")
                .setMaster("local[*]");
        JavaSparkContext sc = new JavaSparkContext(conf);
        JavaStreamingContext ssc = new JavaStreamingContext(sc, new Duration(2000));

        // TODO: processing pipeline

        ssc.start();
        ssc.awaitTermination();
    }
}
我的Maven依赖项是:

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming-kafka_2.10</artifactId>
    <version>1.6.0</version>
</dependency>

org.apache.spark
我可以找到我正在寻找的类,但是在那里找不到依赖项

编辑:如果我去了,我可以找到一长串的依赖项,但是我找不到那些有我需要的类的依赖项


提前谢谢

我认为你也应该添加火花芯

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.10</artifactId>
    <version>2.1.0</version>
</dependency>

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming_2.10</artifactId>
    <version>2.1.0</version>
</dependency>

org.apache.spark
spark-core_2.10
2.1.0
org.apache.spark
spark-2.10
2.1.0

您可以使用的“按类名搜索”功能查找需要导入的库


还请记住,maven依赖项是可传递的,即依赖项的依赖项也包含在项目中。

不是特定于maven的,但您可以查看,搜索所需的类,然后大致查看它所在的文件夹

例如,
SparkContext
存在于
core/
文件夹下

注意:
spark streaming kafka
依赖于
spark streaming
,而spark streaming又依赖于
spark core
,因此,如果您包括了它,或者其他核心库,如MLlib、SparkSQL或GraphX,那么也应该引入core


也许您需要运行
mvn compile

您可以在maven repository中搜索依赖项如何搜索特定的东西,如import org.apache.spark.streaming.api.java.JavaStreamingContext;?Maven repo搜索查询是组和工件。我们不能在那里使用FQN:(那么有没有一种方法可以在不尝试每一个org.apache.spark结果的情况下找到它呢?转到search.maven.org。单击advanced search并在
By ClassName
文本框中提供您的完全限定名。它将列出所有包含您的类的jars版本。然后您可以下载相应的jar。它仍然不起作用。是否还有其他依赖项我可能需要什么?还有,你如何找到你需要的依赖关系?