Hadoop 公私云（混合云）

让我们假设我有一个有限的预算来制作一个小型的内部私有云。现在我希望能够将这个私有云与一个公共云相结合，例如AmazonEC2。我有什么选择

更具体地说，我希望能够做到以下几点：

主要使用我的私有云，但如果请求速率或数据集大小增加，则将部分负载/数据传输到EC2

将我的机密数据存储在私有云上，并将更一般的数据移动到EC2。收到请求后，我希望能够对公共数据进行一些计算，然后将其与对机密数据的计算结合起来。但数据的机密性决不能被泄露

---

我正在为一个项目研究这个问题，如果有任何想法/建议或相关材料，我将不胜感激

这是一个很难回答的问题，因为要做到这一点，你可以选择的道路种类和数量都非常多

总之，你所描述的是一个混合云：

首先，你必须构建你的私有云，有很多选择，你有CloudStack、OpenStack、Eucalyptus、Open Nebula等。如果你选择我推荐的开源方式，你可以看到对不同开源云计算解决方案的分析：

当您拥有由私有云管理的自己的基础设施时，您需要像Amazon这样的第三方提供商来部署基础设施的公共端

现在是最难的部分：

为了将基础设施扩展到公共端，您必须构建自己的逻辑，这实际上是80%的工作，您必须计划何时、何时、何地进行扩展，您必须确定要在公共端存储哪些数据，等等

像Rackspace这样的工具可以帮助您：

---

这是一个很难回答的问题，因为为了做到这一点，你可以选择各种各样的途径

总之，你所描述的是一个混合云：

首先，你必须构建你的私有云，有很多选择，你有CloudStack、OpenStack、Eucalyptus、Open Nebula等。如果你选择我推荐的开源方式，你可以看到对不同开源云计算解决方案的分析：

当您拥有由私有云管理的自己的基础设施时，您需要像Amazon这样的第三方提供商来部署基础设施的公共端

现在是最难的部分：

为了将基础设施扩展到公共端，您必须构建自己的逻辑，这实际上是80%的工作，您必须计划何时、何时、何地进行扩展，您必须确定要在公共端存储哪些数据，等等

像Rackspace这样的工具可以帮助您：

---

@arcade_fire提供了竞争对手的开源私有云产品的极好概述。在此列表中，您可以添加Microsoft的SCVMM和VMWare的vCloud。根据预算和工作量，这些专有产品可能也会引起兴趣

选择云O/S后，考虑以下问题：

如何使混合云的公共和私有元素对您的网络透明？ 如何控制生成的混合云？ 第一个问题通过使用VPC虚拟私有云解决。AWS引入此术语是为了描述位于专用网络上的公共云部署。这些机器通过VPN连接到您的私有云。VPN的一端在云中，另一端在数据中心。谷歌的aws vpc架构会给你一个很好的解释。我喜欢

---

第二个问题涉及选择管理工具来管理工作负载，这些工具支持用于与每个公共和私人帐户通信的API。architype示例是，它支持许多API，但还有其他API@arcade_fire提供了到货架空间的链接。或者，您也可以找到咨询公司，根据预期的工作负载定制工具，例如CloudStack生态系统。

@arcade\u fire提供了竞争对手的开源私有云产品的极好概述。在此列表中，您可以添加Microsoft的SCVMM和VMWare的vCloud。根据预算和工作量，这些专有产品可能也会引起兴趣

选择云O/S后，考虑以下问题：

如何使混合云的公共和私有元素对您的网络透明？ 如何控制生成的混合云？ 第一个问题通过使用VPC虚拟私有云解决。AWS引入此术语是为了描述位于专用网络上的公共云部署。这些机器通过VPN连接到您的私有云。VPN的一端在云中，另一端在数据中心。aws专有网络体系结构的google实现 我会给你一个很好的解释。我喜欢

---

第二个问题涉及选择管理工具来管理工作负载，这些工具支持用于与每个公共和私人帐户通信的API。architype示例是，它支持许多API，但还有其他API@arcade_fire提供了到货架空间的链接。或者，您可以找到咨询公司，根据预期的工作负载定制工具，例如CloudStack生态系统。

如果您计划拥有自己的混合云，您必须拥有自己的代码来管理scaleUP和其他供应任务。 对于私有云，您可以选择eucalyptus或OpenQRM。如果您熟悉Linux，您可以使用与apache服务器上托管的Linux操作系统捆绑在一起的开源KVM，您可以从java或PHP代码中调用其公开的方法，并执行资源调配和资源调配任务。或者，您可以简单地使用KVM提供的管理控制台。 citrix-Xen也是一种选择。 现在，对于公共云，EC2是一个选项，您可以使用其他各种Iaas。 为了实现高可用性，您可以开放源代码ApacheHaproxy，它负责您的负载平衡。 在处理某些数据时，您可以选择大数据提供商，包括mapreduse、Terradata、IBM netzza、cloudere for graph和其他分析，您可以使用splunk，而apache hadoop和pig和hive始终是一个选项

---

随着私有云和公有云的集成，您必须编写scaleUP代码。亚马逊公开了它的web服务，你可以利用它……

如果你计划拥有自己的混合云，你必须拥有自己的代码来管理scaleUP和其他供应任务。 对于私有云，您可以选择eucalyptus或OpenQRM。如果您熟悉Linux，您可以使用与apache服务器上托管的Linux操作系统捆绑在一起的开源KVM，您可以从java或PHP代码中调用其公开的方法，并执行资源调配和资源调配任务。或者，您可以简单地使用KVM提供的管理控制台。 citrix-Xen也是一种选择。 现在，对于公共云，EC2是一个选项，您可以使用其他各种Iaas。 为了实现高可用性，您可以开放源代码ApacheHaproxy，它负责您的负载平衡。 在处理某些数据时，您可以选择大数据提供商，包括mapreduse、Terradata、IBM netzza、cloudere for graph和其他分析，您可以使用splunk，而apache hadoop和pig和hive始终是一个选项

---

随着私有云和公有云的集成，您必须编写scaleUP代码。亚马逊公开了它的web服务，你可以利用它……

有专业的供应商提供这种结合了私有云和公共云的服务。它被称为混合云，您可以构建自己的私有云来为您的项目服务，并且您可以从公共云中提取一些元素来更好地为您服务，以防在您自己的云有限的情况下增加数据库。我个人喜欢stratoscale，根据我的经验，他们的symphony产品很好，可以满足客户的所有需求，但很明显，他们也有很多产品与openstack一起使用。

有专业供应商提供私有云和公共云的组合服务。它被称为混合云，您可以构建自己的私有云来为您的项目服务，并且您可以从公共云中提取一些元素来更好地为您服务，以防在您自己的云有限的情况下增加数据库。我个人喜欢stratoscale，根据我的经验，他们的symphony产品很好，可以满足客户的所有需求，但很明显，他们也有许多产品与openstack一起使用。

您所描述的无疑是一种混合云部署模型。根据我与我们团队的经验，我可以建议您继续，给第三方工具一个机会。现在的第三方服务允许您在云环境中拥有所有相关的行动自由，这基本上意味着您可以完全控制您的云资源。这些服务允许您管理本地私有云，同时使用AWS作为本地云，这是一项非常高级的功能。您可能想查看一下，并且考虑到成本，这些工具中的大多数都提供免费试用。

您所描述的无疑是一种混合云部署模型。根据我与我们团队的经验，我可以建议您继续，给第三方工具一个机会。现在的第三方服务允许您在云环境中拥有所有相关的行动自由，这基本上意味着您可以完全控制您的云资源。这些服务允许您管理本地私有云，同时使用AWS作为本地云，这是一项非常高级的功能。您可能想查看一下它以及成本，这些工具中的大多数都提供f

---

ree试验。

谢谢你的回答。如果没有要实施的特定策略，使用VPN似乎是一个合乎逻辑的答案。我想做的是确保我私有云上的机密数据不会进入公共空间。如果来自公共云的数据进入私有，这是可以的，但不是反向的。更一般地说，我希望能够强制执行特定的策略并对其进行修改，而无需进行太多的手动修改。有没有办法把它们与具体的政策结合起来？thanksHow您打算存储数据吗？以虚拟机为中心将其放在虚拟机中，虚拟机的卷。卷很难从一个云转移到另一个云。以存储服务为中心提高了数据传输的可能性。例如，由于Dropbox的功能，您的数据会离开办公场所。一种解决方案是将数据保留在对象存储中，如OpenStack和CloudStack提供的Swift，或Hadoop提供的分布式文件系统。仅将私有云主机作为节点添加到此存储，您的数据将不会离开您的场所。谢谢您的回答。如果没有要实施的特定策略，使用VPN似乎是一个合乎逻辑的答案。我想做的是确保我私有云上的机密数据不会进入公共空间。如果来自公共云的数据进入私有，这是可以的，但不是反向的。更一般地说，我希望能够强制执行特定的策略并对其进行修改，而无需进行太多的手动修改。有没有办法把它们与具体的政策结合起来？thanksHow您打算存储数据吗？以虚拟机为中心将其放在虚拟机中，虚拟机的卷。卷很难从一个云转移到另一个云。以存储服务为中心提高了数据传输的可能性。例如，由于Dropbox的功能，您的数据会离开办公场所。一种解决方案是将数据保留在对象存储中，如OpenStack和CloudStack提供的Swift，或Hadoop提供的分布式文件系统。仅将私有云主机作为节点添加到此存储，您的数据将不会离开您的场所。