Sap 将ORC数据文件附加到Vora表是否有大小限制

Sap 将ORC数据文件附加到Vora表是否有大小限制,sap,vora,Sap,Vora,我在Vora 1.3中创建了一个Vora表,并尝试从我从SAPBW归档过程(Hadoop上的NLS)获得的ORC文件中向该表添加数据。我有20个文件,总共包含大约5000万条记录 当我尝试将APPEND语句中的“files”设置用作“/path/*”时,大约1小时后,Vora返回此错误消息: com.sap.spark.vora.client.VoraClientException: Could not load table F002_5F: [Vora [eba156.extendtec.co

我在Vora 1.3中创建了一个Vora表,并尝试从我从SAPBW归档过程(Hadoop上的NLS)获得的ORC文件中向该表添加数据。我有20个文件,总共包含大约5000万条记录

当我尝试将APPEND语句中的“files”设置用作“/path/*”时,大约1小时后,Vora返回此错误消息:

com.sap.spark.vora.client.VoraClientException: Could not load table F002_5F: [Vora [eba156.extendtec.com.au:42681.1640438]] java.lang.RuntimeException: Wrong magic number in response, expected: 0x56320170, actual: 0x00000000. An unsuccessful attempt to load a table might lead to an inconsistent table state. Please drop the table and re-create it if necessary. with error code 0, status ERROR_STATUS

我尝试的下一件事是使用单独的APPEND语句从每个文件中追加数据。在第15次追加(共20次)时,我收到了相同的错误消息。

该错误表明节点eba156.extendtec.com.au上的Vora引擎不可用。我怀疑它不是崩溃了就是内存不足

您可以检查日志目录中的崩溃转储。如果您找到了,请打开一条客户信息,以便进一步调查

如果没有找到崩溃转储,则可能是内存不足。您应该在引擎日志文件或/var/log/messages(如果oom杀手结束了进程)中找到确认信息。在这种情况下,可用内存不足以加载数据