Java Apache orc写入程序刷新内存_Java_Apache_Hadoop_Memory_Orc

Java Apache orc写入程序刷新内存

java apache hadoop memory

Java Apache orc写入程序刷新内存,java,apache,hadoop,memory,orc,Java,Apache,Hadoop,Memory,Orc,我们愿意使用org.apache.orc.Writer创建orc文件。我们的测试还可以，直到orc文件从包含blob-s的更大数据库表创建。我们已尝试更改以下设置，但两个设置都没有帮助： org.apache.orc.OrcFile.WriterOptions: bufferSize() stripeSize() blockSize() enforceBufferSize() Orc writer正在获取所有数据集，只有当数据集完成后，才将它们写出来，这种行为会导致较大数据集上的内存问题。是否

我们愿意使用org.apache.orc.Writer创建orc文件。我们的测试还可以，直到orc文件从包含blob-s的更大数据库表创建。我们已尝试更改以下设置，但两个设置都没有帮助：

org.apache.orc.OrcFile.WriterOptions:
bufferSize()
stripeSize()
blockSize()
enforceBufferSize()

Orc writer正在获取所有数据集，只有当数据集完成后，才将它们写出来，这种行为会导致较大数据集上的内存问题。是否有一种方法可以连续填充ORC文件（不断从内存中刷新），而不是在关闭文件写入程序时从内存中刷新数据？从包含blob且不能仅在内存中处理的数据源创建orc文件的最佳实践是什么

欢迎提供任何信息

谢谢。塔马斯