Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/.htaccess/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
如何控制cassandra服务器中的子进程数_Cassandra - Fatal编程技术网

如何控制cassandra服务器中的子进程数

如何控制cassandra服务器中的子进程数,cassandra,Cassandra,我正在尝试使用COPY命令将CSV文件加载到cassandra表中。默认情况下,复制过程从16个子进程开始(“使用16个子进程”)。我给了卡桑德拉容器3个VCPU。 我觉得这3个vCPU不足以将负载分配到16个进程,因为大量的CPU节流正在发生,这导致在复制过程中出现间歇性问题“NoHostAvailable”,最终作业完成 我觉得如果我将子进程限制为一半(即)8,那么我就不会遇到这种间歇性问题——“NoHostAvailable”。我知道我可以在提交查询时使用参数numprocesses=x来

我正在尝试使用COPY命令将CSV文件加载到cassandra表中。默认情况下,复制过程从16个子进程开始(“使用16个子进程”)。我给了卡桑德拉容器3个VCPU。 我觉得这3个vCPU不足以将负载分配到16个进程,因为大量的CPU节流正在发生,这导致在复制过程中出现间歇性问题“NoHostAvailable”,最终作业完成

我觉得如果我将子进程限制为一半(即)8,那么我就不会遇到这种间歇性问题——“NoHostAvailable”。我知道我可以在提交查询时使用参数numprocesses=x来限制它,但我想在服务器上限制它

我曾尝试在jvm.options文件中设置此选项,但它对我无效

# For systems with > 8 cores, the default ParallelGCThreads is 5/8 the number of logical cores.
# Otherwise equal to the number of cores when 8 or less.
# Machines with > 10 cores should try setting these to <= full cores.
#-XX:ParallelGCThreads=8
# By default, ConcGCThreads is 1/4 of ParallelGCThreads.
# Setting both to the same value can reduce STW durations.
#-XX:ConcGCThreads=8
#对于具有>8个内核的系统,默认的并行线程数为逻辑内核数的5/8。
#否则等于8或更少时的芯数。

#具有>10个内核的计算机应尝试将这些设置为运行您的命令,并且NUMPROCESSES=8

COPY table_name [ ( column_list ) ]
FROM 'file_name'[ , 'file2_name', ... ] | STDIN
[ WITH option = 'value' [ AND ... ] ]      
据报道,

NUMPROCESSES要为复制创建的子工作进程数 任务。默认情况下,“复制自”的最大值为4,“复制到”的最大值为16。 但是,最多会创建(num_cores-1)个进程

您似乎无法在服务器级别设置此选项,但可以在查询级别覆盖它