Spark Cassandra连接器saveToCassandra()正在向驱动程序发送数据并导致OOM异常

Spark Cassandra连接器saveToCassandra()正在向驱动程序发送数据并导致OOM异常,cassandra,apache-spark,driver,spark-cassandra-connector,Cassandra,Apache Spark,Driver,Spark Cassandra Connector,我正在尝试使用Spark Cassandra连接器 这是我的密码: JavaRDD<UserStatistics> rdd=CassandraJavaUtil.javaFunctions(sparkContext).cassandraTable( ConfigStore.read("cassandra", "keyspace"), "user_activity_" + type).where("bucket =?", date).

我正在尝试使用Spark Cassandra连接器

这是我的密码:

   JavaRDD<UserStatistics> rdd=CassandraJavaUtil.javaFunctions(sparkContext).cassandraTable(
            ConfigStore.read("cassandra", "keyspace"), "user_activity_" + type).where("bucket =?",
            date).select("user_id", "code").mapToPair(row -> new Tuple2<String, Integer>(row
            .getString("user_id"), 1)).reduceByKey((value1, value2) -> value1 + value2).map(s ->
    {
        List<UserStatistics> userStatistics = new ArrayList<>();
        UserStatistics userStatistic = new UserStatistics();
        userStatistic.setUser_id(s._1);
        userStatistic.setStatistics_type(type);
        long total = s._2;
        int failureCount = 0;//s._2._2().iterator().next();
        int selectedCount = 0; //s._2._2().iterator().next();
        userStatistic.setTotal_count((int) total);
        userStatistic.setFailure_count(failureCount);
        userStatistic.setSelected_count(selectedCount);
        userStatistics.add(userStatistic);
        return userStatistic;
    });
    CassandraJavaUtil.javaFunctions(rdd).writerBuilder(ConfigStore.read("cassandra", "keyspace"),
            "user_statistics",mapToRow(UserStatistics.class)).saveToCassandra();

84821字节不太可能触发OOM异常。spark版本?卡桑德拉版本?可能是对DB的正确许可,或者本地主机上的端口被阻止,请检查您的IPTablesPark 1.4 cassandra版本:2.1.8和连接器:1.4.0-M1。关键点:spark 1.4 cassandra版本:2.1.8和连接器:1.4.0-M1。我查看所有权限,我可以发送/读取数据。如果我使用spark应用程序中的cassandra java客户端。很好。我可以读数据和写数据。我的桌子也很小。它向驱动程序发送大量数据。据我所知,它读取集群上的数据并在集群上进行处理,然后将其从集群中保存回来。它应该需要发送数据给司机,因为我没有要求任何这些功能,如收集,计数,采取等
Executor: Finished task 1007.0 in stage 0.0 (TID 1007). 84821 bytes result sent to driver
15/09/29 13:57:32 INFO TaskSetManager: Starting task 1016.0 in stage 0.0 (TID 1016, localhost, NODE_LOCAL, 2096 bytes)
15/09/29 13:57:32 INFO TaskSetManager: Finished task 1007.0 in stage 0.0 (TID 1007) in 78 ms on localhost (1009/640442)
15/09/29 13:57:32 INFO Executor: Running task 1016.0 in stage 0.0 (TID 1016)