Proxy 规模、性能代理（加载外部内容）？

我确信这个问题的答案是非常主观的，我只是想知道有哪些选项（用于构建代理以加载外部内容）

通常我在php中使用cURL并传递proxy.url之类的变量来获取内容。然后用Javascript调用AJAX来填充内容

编辑： YQL（Yahoo Query language）对我来说似乎是一个非常有前途的解决方案，但是，它有一个每日使用量的限制，这从本质上阻止了我在大型项目中使用它

我还有其他选择吗？我对任何语言、任何平台开放，关键标准是：性能和可扩展性

请分享你对这个话题的想法、想法和经验

---

谢谢，

您不需要代理服务器或其他东西。 只需创建一个cronjob，每5分钟（或任何时候）获取一次内容

您只需要创建一个脚本，从web获取内容并将其保存（保存到文件、数据库等），该脚本将由cronjob启动

如果有人请求你的页面，你只需要将缓存的内容发送出去，然后用它做任何你想做的事情

---

<> p>我认为可伸缩性和性能不会有问题。

取决于你需要处理的内容，你可以考虑Erlang。它速度极快，可靠性高得离谱，而且非常适合扩展。

cronjobs在我的情况下不起作用，因为我需要实时获取内容以进行数据操作。我基本上需要根据给定的url获取所有内容（包括css、javascript等）。Erlang只是一种语言，有没有构建的代理？你能告诉我更多关于使用Erlang与其他语言（如C#、PHP、Java、ruby）的经验吗？