Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/cassandra/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
使用dsbulk在cassandra中加载数据时出现问题_Cassandra_Datastax Enterprise_Dsbulk - Fatal编程技术网

使用dsbulk在cassandra中加载数据时出现问题

使用dsbulk在cassandra中加载数据时出现问题,cassandra,datastax-enterprise,dsbulk,Cassandra,Datastax Enterprise,Dsbulk,使用dsbulk将数据从.csv文件加载到表中时,我遇到了一个问题。 我在错误日志中得到如下信息 原因:com.datastax.driver.core.exceptions.OperationTimedOutException:[/10.0.126.13:9042]在等待服务器响应时超时 这个环境是我们的POC环境,有3个节点,8个CPU和64G内存。根据我的观察,当我运行dsbulk命令时,它会占用服务器上的所有CPU,内存消耗也会很高 如果您能给我一个指针,指示如何微调dsbulk,通过它

使用dsbulk将数据从.csv文件加载到表中时,我遇到了一个问题。 我在错误日志中得到如下信息

原因:com.datastax.driver.core.exceptions.OperationTimedOutException:[/10.0.126.13:9042]在等待服务器响应时超时

这个环境是我们的POC环境,有3个节点,8个CPU和64G内存。根据我的观察,当我运行dsbulk命令时,它会占用服务器上的所有CPU,内存消耗也会很高


如果您能给我一个指针,指示如何微调dsbulk,通过它可以减少cpu使用率/内存消耗。如果此操作速度减慢,并且性能可管理,我可以使用。

您可以指定
--executor.maxPerSecond
选项来限制每秒的操作数。看

您还可以尝试调优,
--batch.maxBatchStatements


此外,还建议从单独的机器上运行DSBulk,以防止其影响DSE的性能。(这是所有负载测试等的常见建议)

谢谢大家的帮助,我下载了最新版本的debulk并将batch size设置为5000,从而解决了这个问题。

我试图使用--batch.maxBatchStatements,但它显示无效选项并出错。另外,如果我试图从其他计算机运行此命令,-h下的ipaddress应该是什么?DSBulk的哪个版本?最新版本是1.3.3: