Linux （*nix）用于构建fast和；可扩展web服务

我将构建一个高性能的web服务。它应该使用数据库（或任何其他存储系统）、某种处理语言（脚本或非脚本）和web服务器守护程序。该系统应分布到大量服务器，以便服务运行快速可靠

它应该复制数据以实现可靠性，同时必须提供分布式计算功能，以便处理大量数据（主要是大型数据库上的查询，这些查询无法在一台服务器上以适当的响应级别执行）。缓存技术已经不在讨论范围之内了

我应该考虑哪些群集/云解决方案

有很多单系统映像（SSI）、集群文件系统（可以是设计的一部分）、Hadoop、BigTable克隆等项目。每种方法都有其优点和缺点，而“关于”页面总是说解决方案很棒：）如果您尝试部署了解决此问题的方法，请分享您的经验

UPD：它不是一个文件托管和游戏，而是一个互动的东西。您可以将StackOverflow作为web服务的一个示例：小块数据、半静态内容、密集的数据库操作

---

---

由于您的说法有点含糊不清，所以很难提出具体的建议，但我会推荐基本上适用于任何web服务的建议。它可靠、易于使用，并且建立在谷歌架构之上，因此速度快且可靠。

你真的需要更好地定义“大”。“大”是一个愿望，还是你有你的营销部门认为他们会有的硬数字

如果可以使用简单的组件来完成，那么就这样做。像Cassandra和Hadoop这样的软件既不容易安装（尤其是后者），也不容易开发；能够有效开发此类应用程序的开发人员将非常昂贵，而且很难雇佣

因此，我想说，从使用您最喜欢的“传统”数据库开始，使用适当的高可用性解决方案，然后等到接近极限为止（一旦构建了真正的应用程序，并且有了性能测试系统，您就可以随时测量其极限在哪里）

请记住，堆栈溢出使用非常传统的组件，只需使用少量的商品硬件进行良好的调整。这对于它的规模来说是很好的，但对（比如Facebook）来说永远不会起作用，但开发者知道，SO的受众永远不会达到Facebook的水平

编辑：

当“传统”技术开始失败时，例如，您达到了在单个数据库实例上可以做的极限，然后可以考虑将分割或功能分区划分为更多实例（再次使用HA系统的选择）。

---

您唯一需要这些（例如Cassandra）“nosql”系统之一的时候是，如果您有一个具有非常高的写入要求和可用性要求的同质数据存储；即便如此，你仍然可以通过分割传统系统来解决这个问题——就像其他人（甚至Facebook）有时所做的那样

我想推荐StratoscalSymphony。这是一个私有云服务，可以做到这一切。你刚才提到的一切——这项服务提供了完美的服务。他们的symphony产品在企业数据中心提供公共云体验。如果这正是你想要的，我建议你试一试

你的问题可能应该更具体一些，否则你可能最终没有/几乎没有回答。“为了正确地提问，你需要知道至少一半的答案”（c），这就是为什么这个问题相当笼统：）我知道有各种各样的解决方案用于不同的目的，我不会得到正确的答案。然而，作为一个起点，很高兴听到在集群上构建任何web服务的经验分享。稍后，谷歌将提供更多信息：）我可以想象，OP希望在他们自己的基础设施上托管它。另外，cloudy stuff（通常）没有SLA，延迟和性能一般都很差。也许是这样，但我还是建议使用Appengine而不是任何一种内部解决方案。我认为它既不快速也不可靠。不过，我不能与“天平很好”争辩。我想知道这是否划算？我们还没有真正调查过这么多。我不知道成本，所以其他人会对此发表评论。这就是为什么我推荐Appengine，它更容易开发，更容易扩展。而且价格也很划算！