Amazon web services hadoop对云延迟的影响

Amazon web services hadoop对云延迟的影响,amazon-web-services,azure,hadoop,Amazon Web Services,Azure,Hadoop,我是一个大数据架构师,没有云技术 我一直在使用Hadoop onPremise,我知道服务器位置是一个非常严重的问题,因为它可能会应用更高的延迟 今天,随着Hadoop在云上的集成,我想知道: 如果云提供商(AWS、AZURE…)有可能 在同一位置提供相同群集的主机以减少延迟 我们如何管理从本地传输巨大数据的延迟 机器到云 我认为这应该是服务器故障,而不是堆栈溢出。也就是说,我仍然可以尝试帮助你 这些云提供商可以选择您的系统所在的区域。它们不是“内部部署”,因为它们位于远程数据中心,但是如果您

我是一个大数据架构师,没有云技术

我一直在使用Hadoop onPremise,我知道服务器位置是一个非常严重的问题,因为它可能会应用更高的延迟

今天,随着Hadoop在云上的集成,我想知道:

  • 如果云提供商(AWS、AZURE…)有可能 在同一位置提供相同群集的主机以减少延迟
  • 我们如何管理从本地传输巨大数据的延迟 机器到云

  • 我认为这应该是服务器故障,而不是堆栈溢出。也就是说,我仍然可以尝试帮助你

    • 这些云提供商可以选择您的系统所在的区域。它们不是“内部部署”,因为它们位于远程数据中心,但是如果您在同一区域运行它们,那么它们之间的延迟将比您预期的要快得多。这些公司特别努力(至少在AWS的帮助下)使数据即使不在同一地区,也能在不同国家之间以极快的速度发送和接收信息,同时保持在网络内。许多人在AWS内部创建VPN的唯一目的是能够使用他们的网络,因为它们的延迟非常低,令人惊讶

    • 通常,您不必担心软件处理延迟之外的延迟。这是使用云提供商的好处之一


    我得到了答案,一些云提供商允许虚拟机位于同一地理区域(因为azure实例提供了选择可用性区域的可能性)