如何在NIFI中有效地使用Select Hive处理器?

如何在NIFI中有效地使用Select Hive处理器?,hive,apache-nifi,Hive,Apache Nifi,我一直在使用Select Hive processor从Hive获取数据并创建CSV文件。我观察了大约700万条记录,大约需要5分钟。仔细观察发现,从配置单元获取数据的速度更快,几乎不需要少于总时间的10%,但在CSV中写入文件的时间太长。我使用8核和32GB内存。我已将堆内存配置为16 GB。有人能帮忙提高这个性能吗?我需要进行任何系统级设置吗?SelectHiveQL的CSV输出选项当然可以改进,目前它将每一行构建为内存中的字符串,然后将其写入流文件,但它可能只直接写入流文件等。请随意使用文

我一直在使用Select Hive processor从Hive获取数据并创建CSV文件。我观察了大约700万条记录,大约需要5分钟。仔细观察发现,从配置单元获取数据的速度更快,几乎不需要少于总时间的10%,但在CSV中写入文件的时间太长。我使用8核和32GB内存。我已将堆内存配置为16 GB。有人能帮忙提高这个性能吗?我需要进行任何系统级设置吗?

SelectHiveQL的CSV输出选项当然可以改进,目前它将每一行构建为内存中的字符串,然后将其写入流文件,但它可能只直接写入流文件等。请随意使用文件a进行此改进。

谢谢!我刚养了一只吉拉