Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/git/20.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 读取超大Hbase of then HDFS群集时出现问题_Apache Spark_Hdfs_Hbase - Fatal编程技术网
Fatal编程技术网
  • apache-spark/
  • Apache spark 读取超大Hbase of then HDFS群集时出现问题

Apache spark 读取超大Hbase of then HDFS群集时出现问题

apache-spark hbase

Apache spark 读取超大Hbase of then HDFS群集时出现问题,apache-spark,hdfs,hbase,Apache Spark,Hdfs,Hbase,在我们公司，我们有非常大的HBase 10 TB左右，可以收集多年的信息。由于错误的配置或其他原因，并没有人记得它是如何启动的，此时数据库停止了，当我试图通过Spark发出任何请求时，它只是冻结，从不返回结果，并在超时时关闭进程。我的工作是将数据转换成其他格式-拼花文件或cassandra。有人能帮我做这个吗？是否可以直接访问Hfiles并逐个转换？Hbase是否有用于此类工作的API？请帮忙！我用Spark，Scala

在我们公司，我们有非常大的HBase 10 TB左右，可以收集多年的信息。由于错误的配置或其他原因，并没有人记得它是如何启动的，此时数据库停止了，当我试图通过Spark发出任何请求时，它只是冻结，从不返回结果，并在超时时关闭进程。我的工作是将数据转换成其他格式-拼花文件或cassandra。有人能帮我做这个吗？是否可以直接访问Hfiles并逐个转换？Hbase是否有用于此类工作的API？请帮忙！我用Spark，Scala