Google app engine 使用谷歌应用程序引擎进行网页抓取

我正试图抓取一些网站，并将数据作为RSS提要重新发布。使用谷歌应用程序引擎进行设置有多难？使用GAE的缺点和优点。非常感谢任何建议和指南

Google AppEngine提供的功能（和复杂性）比您需要的多得多，如果您真正想做的就是将一些结构化数据重新发布为RSS。 就我个人而言，我会用类似的东西来完成这样的任务

---

话虽如此。。。如果你想/需要用GAE弄湿你的脚，那就去吧

比大多数其他技术更难

---

GAE现在可以像这样做计划的批处理，但它实际上不适合这种类型的事情。为这项特殊任务选择几乎任何其他语言和平台，您的生活就会轻松得多。

使用Google App Engine非常简单。我建议你通过考试。它简短而简单，涉及基本的GAE主题。有比我在这里列出的更多的优点和缺点

优点：
通常，AppEngine是为需要扩展的高流量web应用程序而设计的。此外，它是从程序员的角度设计的。许多可伸缩性问题（数据库优化、服务器管理等）都是由Google处理的。话虽如此，我发现这是一个很好的平台。谷歌的工程师们仍在积极开发它，任务调度（这是一项长期以来一直被要求的功能）也在当前的路线图中

缺点：
也许目前最大的不利因素还是缺乏官方的日程安排支持，以及目前为免费账户设定的配额限制。然而，如果它是免费的，你也不会抱怨太多。目前它只支持Python作为编程接口（尽管一种新语言[Java I predict]即将问世）。此外，Python 2.6（以及3.0）还不受支持。此外，Django 1.0在AppEngine中没有得到官方支持（尽管您可以）。

我认为可以在GAE上运行，因此您的所有刮片需求都得到了处理：D 另外，GAE还有一个geturl。我认为您可能遇到的唯一问题是没有足够的时间获取数据（限制为30秒）

---

我正在从事一个相同的项目，我决定在另一台服务器上准备数据并将其推送到GAE更容易。

您可能还需要研究（YQL）