Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/cassandra/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Cassandra datastax c#驱动程序IEnumerable<;T>;foreach优化_Cassandra_Driver_Datastax - Fatal编程技术网

Cassandra datastax c#驱动程序IEnumerable<;T>;foreach优化

Cassandra datastax c#驱动程序IEnumerable<;T>;foreach优化,cassandra,driver,datastax,Cassandra,Driver,Datastax,我使用的是CassandraCSharpDriver 3.0.4版本。我需要缩小我的桌子。我运行24个并行查询并获取24个IEnumerable列表。然后我把24个IEnumerable列表浓缩成一个IEnumerable列表。这些步骤不需要很多时间。大约10秒 当我开始为具有10M条记录的组合IEnumerable计算每个代码时,问题就开始了。大约需要15分钟。我是否使用Parallel.Foreach并不重要 我使用映射功能,Linq功能的驱动程序。在某种程度上,我需要优化映射系统,可能是做

我使用的是CassandraCSharpDriver 3.0.4版本。我需要缩小我的桌子。我运行24个并行查询并获取24个IEnumerable列表。然后我把24个IEnumerable列表浓缩成一个IEnumerable列表。这些步骤不需要很多时间。大约10秒

当我开始为具有10M条记录的组合IEnumerable计算每个代码时,问题就开始了。大约需要15分钟。我是否使用Parallel.Foreach并不重要


我使用映射功能,Linq功能的驱动程序。在某种程度上,我需要优化映射系统,可能是做一些manuel或并行的事情。我需要建议。顺便说一下,我知道mapreduce还有其他解决方案。我需要的正是这个。

在花了很多时间,测试了linq和普通会话执行之后,我找到了导致这种情况的原因。仅运行execute方法就可以获取pagesize行数。若要迭代结果,则需要整行。在我的例子中,页面大小是5000,整行数是150万,这就是迭代花费太多时间的原因