Hadoop Apache Kylin:多维数据集生成在步骤3失败

Hadoop Apache Kylin:多维数据集生成在步骤3失败,hadoop,kylin,Hadoop,Kylin,我正在尝试构建Apache Kylin多维数据集,但在步骤3失败,日志消息如下: java.lang.RuntimeException:java.io.IOException:NoSuchObjectExceptionmessage:default.kylin_intermediate_t3cube_47ec8760_55ce_445; D_a91b_0C33957676BF表未找到 位于org.apache.kylin.source.hive.HiveMRInput$HiveTableInpu

我正在尝试构建Apache Kylin多维数据集,但在步骤3失败,日志消息如下:

java.lang.RuntimeException:java.io.IOException:NoSuchObjectExceptionmessage:default.kylin_intermediate_t3cube_47ec8760_55ce_445; D_a91b_0C33957676BF表未找到 位于org.apache.kylin.source.hive.HiveMRInput$HiveTableInputFormat.configureJobHiveMRInput.java:110 位于org.apache.kylin.engine.mr.steps.FactDistinctColumnsJob.setupMapperFactDistinctColumnsJob.java:119 位于org.apache.kylin.engine.mr.steps.FactDistinctColumnsJob.runFactDistinctColumnsJob.java:103 位于org.apache.kylin.engine.mr.MRUtil.runMRJobMRUtil.java:92 位于org.apache.kylin.engine.mr.common.MapReduceeExecutable.DoWorkMapReduceeExecutable.java:120 位于org.apache.kylin.job.execution.AbstractExecutable.executeAbstractExecutable.java:113 位于org.apache.kylin.job.execution.DefaultChainedExecutable.doWorkDefaultChainedExecutable.java:57 位于org.apache.kylin.job.execution.AbstractExecutable.executeAbstractExecutable.java:113 位于org.apache.kylin.job.impl.threadpool.DefaultScheduler$JobRunner.runDefaultScheduler.java:136 位于java.util.concurrent.ThreadPoolExecutor.runWorkerThreadPoolExecutor.java:1142 位于java.util.concurrent.ThreadPoolExecutor$Worker.runThreadPoolExecutor.java:617 java:745 原因:java.io.IOException:NoSuchObjectExceptionmessage:default.kylin_intermediate_t3cube_47ec8760_55ce_445d_a91b_0c33957690bf未找到表 位于org.apache.hive.hcatalog.mapreduce.HCatInputFormat.setinputchatinputformat.java:97 位于org.apache.hive.hcatalog.mapreduce.HCatInputFormat.setinputchatinputformat.java:51 位于org.apache.kylin.source.hive.HiveMRInput$HiveTableInputFormat.configureJobHiveMRInput.java:105 ... 还有11个 原因:NoSuchObjectExceptionmessage:default.kylin_intermediate_t3cube_47ec8760_55ce_445d_a91b_0c33957690bf未找到表 位于org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.get_table_coreHiveMetaStore.java:1946 位于org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.get_tableHiveMetaStore.java:1899 在sun.reflect.NativeMethodAccessorImpl.invoke0Native方法中 位于sun.reflect.NativeMethodAccessorImpl.invokeNativeMethodAccessorImpl.java:62 在sun.reflect.DelegatingMethodAccessorImpl.invokeDelegatingMethodAccessorImpl.java:43 位于java.lang.reflect.Method.invokeMethod.java:498 位于org.apache.hadoop.hive.metastore.RetryingHMSHandler.invokeInternalRetryingHMSHandler.java:140 位于org.apache.hadoop.hive.metastore.RetryingHMSHandler.invokeRetryingHMSHandler.java:99 位于com.sun.proxy.$Proxy47.get\u table未知源 位于org.apache.hadoop.hive.metastore.HiveMetaStoreClient.getTableHiveMetaStoreClient.java:1332 在sun.reflect.NativeMethodAccessorImpl.invoke0Native方法中 位于sun.reflect.NativeMethodAccessorImpl.invokeNativeMethodAccessorImpl.java:62 在sun.reflect.DelegatingMethodAccessorImpl.invokeDelegatingMethodAccessorImpl.java:43 位于java.lang.reflect.Method.invokeMethod.java:498 位于org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.invokeRetryingMetaStoreClient.java:150 位于com.sun.proxy.$Proxy48.getTableUnknown Source 位于org.apache.hive.hcatalog.common.HCatUtil.getTableHCatUtil.java:180 位于org.apache.hive.hcatalog.mapreduce.InitializeInput.getInputJobInfoInitializeInput.java:105 位于org.apache.hive.hcatalog.mapreduce.InitializeInput.setInputInitializeInput.java:88 位于org.apache.hive.hcatalog.mapreduce.HCatInputFormat.setinputchatinputformat.java:95 ... 还有13个 结果代码:2

消息显示kylin找不到表default.kylin_intermediate_t3cube_47ec8760_55ce_445d_a91b_0c33957690bf,但当我登录到hive时,表就存在了

谁能给我点光来修理这个

编辑:
我已经解决了这个问题。Kylin使用hcatalog获取表信息,但我没有正确配置配置单元。

Kylin通过hcatalog lib直接连接到配置单元元存储。这需要类路径上的hive-site.xml,并且它必须包含足够的信息,如“hive.metastore.uri”,才能连接到正确的hive元存储。否则,如果连接到错误的元存储,则会发生“未找到表”异常

在Thread资源管理器或作业历史记录服务器中检查失败的提取事实表不同列作业的MR配置。搜索类路径属性,如“mapreduce.application.classpath”。检查hive-site.xml是否位于类路径上,并且它包含正确的元存储连接信息

注意,有$KYLIN_HOME/conf/KYLIN_job_conf.xml可用于覆盖任何MR作业配置,如“mapreduce.application.classpath”

KYLIN-2530是一个改进补丁。假设这个问题可以从Kylin 2.0开始缓解