Hadoop NiFI数据传输速率

我有一个独立安装的NIFI-1.4.0，并在两个Hadoop集群之间进行数据传输。（当集群满负荷运行时，探索作为DistCP的备份选项）

我看到最大传输速率约为500MB/秒，我已尽可能地调整了并行性，以及缓冲区大小，但传输速率不会超过150兆/秒。我们的网络是10G，所以，NIFI方面的一些东西受到了限制

请告诉我去哪里找

---

我使用默认值（512 MB）、4 GB和8 GB尝试了JVM大小，但没有效果。

您测量过服务器与NiFi之外的每个HDFS群集之间的传输速率吗？最好在NiFi之外使用Hadoop客户端测试到每个集群的传输，以确保这不是一般的网络问题。此外，有关NiFi机器的磁盘以及存储库如何配置的信息也会有所帮助。检查网络速度，这很好。怀疑TCP套接字连接MTU限制了我的传输速率。但不确定如何证明您是否测量了服务器与NiFi之外的每个HDFS集群之间的传输速率？最好在NiFi之外使用Hadoop客户端测试到每个集群的传输，以确保这不是一般的网络问题。此外，有关NiFi机器的磁盘以及存储库如何配置的信息也会有所帮助。检查网络速度，这很好。怀疑TCP套接字连接MTU限制了我的传输速率。但不知道如何证明这一点