使用正则表达式筛选器扫描HBase表时的java.net.SocketTimeoutException

使用正则表达式筛选器扫描HBase表时的java.net.SocketTimeoutException,hbase,spark-submit,Hbase,Spark Submit,由于rowkey的设计,我需要执行一个regex扫描过滤器,据我所知,它扫描该表的整个rowkey集 我面临的问题是,默认情况下,限制是默认的callTimeout=60000,我正在超出该值 我一直在寻找解决方案,但到目前为止,我希望避免使用两种方法: 方法1:修改hbase-client.xm文件,增加以下值: <property> <name>hbase.client.operation.timeout</name> <value&

由于rowkey的设计,我需要执行一个regex扫描过滤器,据我所知,它扫描该表的整个rowkey集

我面临的问题是,默认情况下,限制是默认的
callTimeout=60000
,我正在超出该值

我一直在寻找解决方案,但到目前为止,我希望避免使用两种方法:

方法1:修改hbase-client.xm文件,增加以下值:

<property>
    <name>hbase.client.operation.timeout</name>
    <value>1800000</value>
</property>
这个选项更好,但我需要接触代码和共享API,这是我更愿意避免的

因此,由于我使用spark submit提交此作业,我想知道是否可以直接在spark submit中修改此参数,而无需修改群集中的配置文件和代码

我无法找到答案的相关问题:以及

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;

Configuration conf = HBaseConfiguration.create();

conf.set("hbase.rpc.timeout", "1800000");
conf.set("hbase.client.scanner.timeout.period", "1800000");