Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/solr/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Solr 来自HDFS的Spark批量加载解决方案_Solr_Apache Spark_Hdfs - Fatal编程技术网

Solr 来自HDFS的Spark批量加载解决方案

Solr 来自HDFS的Spark批量加载解决方案,solr,apache-spark,hdfs,Solr,Apache Spark,Hdfs,过去有一种方法可以使用MR作业从HDFS批量加载Solr。23点41分,一段老道格切割视频谈到了这一点 我还拍摄了下面他的幻灯片的屏幕截图: 因此,您过去能够从HDF读取数据并写出多个Solr碎片…每个映射器一个。我怎么能用Spark做这样的事?我发现LucidWorks的Spark Solr项目有一个SolrRDD,但它似乎使用SolrJ对Solr进行写入。我想从Spark RDD将碎片写入HDF,类似于MR的工作。在Spark里我该怎么做

过去有一种方法可以使用MR作业从HDFS批量加载Solr。23点41分,一段老道格切割视频谈到了这一点

我还拍摄了下面他的幻灯片的屏幕截图:

因此,您过去能够从HDF读取数据并写出多个Solr碎片…每个映射器一个。我怎么能用Spark做这样的事?我发现LucidWorks的Spark Solr项目有一个SolrRDD,但它似乎使用SolrJ对Solr进行写入。我想从Spark RDD将碎片写入HDF,类似于MR的工作。在Spark里我该怎么做