Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/java/326.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java spark从cassandra数据库加载数据花费太多时间_Java_Apache Spark_Cassandra_Apache Spark Sql_Sparkcore - Fatal编程技术网

Java spark从cassandra数据库加载数据花费太多时间

Java spark从cassandra数据库加载数据花费太多时间,java,apache-spark,cassandra,apache-spark-sql,sparkcore,Java,Apache Spark,Cassandra,Apache Spark Sql,Sparkcore,我的Cassandra数据库每十分钟为每台机器(总共1000台机器)存储不同的标记的时间序列数据。我想使用Spark对特定日期的数据进行分析。数据库包含过去两年的数据,这是一个巨大的数据量 CassandraJavaUtil.javaFunctions(sc) .cassandraTable(database,table) .filter(t->todays(t)) .filter(f->

我的Cassandra数据库每十分钟为每台机器(总共1000台机器)存储不同的
标记的时间序列数据。我想使用
Spark
对特定日期的数据进行分析。数据库包含过去两年的数据,这是一个巨大的数据量

CassandraJavaUtil.javaFunctions(sc) .cassandraTable(database,table) .filter(t->todays(t)) .filter(f->f.getString("tag").contains("Temp")) .distinct() .count();
如果没有表模式,很难知道您是否可以做得更好,感谢您的早期回复。我添加了模式,你现在能帮我吗?你在执行请求时有什么异常吗?你能看看你的日志,看看是否一切正常吗?在这种布局下,我认为每个请求都必须是一个完整的表扫描。您需要读取每个分区键以确定它是否包含必需的标记。复合键意味着您不能将任何内容推送到Cassandra,因此您将最终读取不相关的整个分区。@M.science没有错误,一切正常。唯一的问题是这需要时间
machine_id text,
tag text,
timestamp timestamp,
value double,
PRIMARY KEY (( machine_id, tag ), timestamp)