使用Spark连接器和附加模式写入MongoDB
我是MongoDB Spark Connector的新手,据我所知,有两种写入DB的方法,一种是:使用Spark连接器和附加模式写入MongoDB,mongodb,scala,apache-spark,connector,Mongodb,Scala,Apache Spark,Connector,我是MongoDB Spark Connector的新手,据我所知,有两种写入DB的方法,一种是: MongoSpark.save(documents) 可以扩展到 MongoSpark.save(df.write.option("collection", "myCollection").mode("append")) 另一种方法是使用RDDs助手方法,如下所示: documents.saveToMongoDB(WriteConfig(Map("uri" -> "mongodb://e
MongoSpark.save(documents)
可以扩展到
MongoSpark.save(df.write.option("collection", "myCollection").mode("append"))
另一种方法是使用RDDs助手方法,如下所示:
documents.saveToMongoDB(WriteConfig(Map("uri" -> "mongodb://example.com/database.collection")))
我想知道是否可以在RDDs助手方法(第二种方法)中指定“模式(“追加”)”,如果可以,如何指定
谢谢也许你已经解决了这个问题。无论如何,您应该同时使用WriteConfig和dataframewriter来通知Mongo您希望将文档附加到集合中 可以通过对dataframewriter和writeconfig使用重载的save方法来实现这一点:
MongoSpark.save(df.write.mode("append"), WriteConfig(Map("uri" -> "mongodb://[uri-string]")))