Google app engine 如何及时扇出URL获取请求？

每隔一分钟左右，我的应用程序就会创建一些数据，并需要通过URL获取回调将其发送到1000多个远程服务器。每个服务器的回调URL存储在单独的实体上。创建数据和将其发送到远程服务器之间的时间间隔应大约小于5秒

我最初的想法是使用管道API将URL获取请求分散到不同的任务队列

不幸的是，任务队列不能保证及时执行。因此，从请求任务队列启动到实际执行可能需要几分钟到几小时。根据以前的经验，这种差距通常超过一分钟，因此不一定合适

---

应用程序引擎内部有什么方法可以实现我想要的吗？也许你知道有一个外部服务可以及时进行扇出吗？

好吧，这里可能没有解决gae的好办法。 您可以保持后端运行；敲打数据存储/memcache 每秒钟发送一次新数据，然后生成几十个异步url抓取。 但那真的很低效

---

如果您需要第三方服务，pubnub.com可以进行扇出，但是我不知道它是否适合您的设置。

使用异步API如何？然后，您可以从单个位置同时执行大量URL调用

---

如果性能特别敏感，您可以从后端执行这些操作，并使用B8实例。

也许我可以使用URL Fetch直接调用我自己应用程序上的前端实例，然后在远程服务器上调用URL Fetch？在这种情况下，我应该如何像管道API那样对回调进行切分呢？我知道这个问题有点老了。既然你说的是1000次url回迁，而不是10000次。。。你看过前瞻性搜索吗？您是否提出了一个好的解决方案？我最终按照我在前面的评论中所说的做了，并使用URLFetch调用的前端实例进行扇出。我还使用了的原则来决定扇出多少。