Java 带有spark的MongoDB在Dataframe中提供空值
我正在尝试使用spark连接mongoDB。当我试图通过自动推断模式从MongoDB读取数据时,我看到了所有的值。 然而,当我尝试显式地指定模式时,以及当我尝试查看数据集中的值时,它给我空值时,我会遇到问题 我正在使用Java并创建Java类来定义模式 有人能帮我解决这个问题吗 下面是代码片段:-Java 带有spark的MongoDB在Dataframe中提供空值,java,mongodb,apache-spark,Java,Mongodb,Apache Spark,我正在尝试使用spark连接mongoDB。当我试图通过自动推断模式从MongoDB读取数据时,我看到了所有的值。 然而,当我尝试显式地指定模式时,以及当我尝试查看数据集中的值时,它给我空值时,我会遇到问题 我正在使用Java并创建Java类来定义模式 有人能帮我解决这个问题吗 下面是代码片段:- public class MVTest { public static void main(final String[] args) throws InterruptedExcept
public class MVTest {
public static void main(final String[] args) throws InterruptedException {
SparkSession spark = SparkSession.builder().appName("Test")
.master("local[2]")
.config("spark.mongodb.input.uri", "mongodb://localhost/mongoFocusDump.PositionResultDocuments")
.config("spark.mongodb.output.uri","mongodb://localhost/mongoFocusDump.PositionResultDocuments").getOrCreate();
JavaSparkContext jsc = new JavaSparkContext(spark.sparkContext());
Dataset<MongoSchema> df = MongoSpark.load(jsc).toDS(MongoSchema.class);
df.printSchema();
df.select("simulationScenario").show();
jsc.close();
}
}
+------------------+
|simulationScenario|
+------------------+
| null|
| null|
| null|
| null|
| null|
| null|
| null|
| null|
| null|
| null|
| null|
| null|
| null|
| null|
| null|
| null|
| null|
| null|
| null|
| null|
+------------------+