Google app engine web应用中的大数据分析

假设我有非常大的时间序列数据。例如，我将非常大的数据存储在像Google BigTable这样的存储器中。我可以很快地查询并从存储器中取出数据。所以我可以处理存储问题。到目前为止，这个过程非常有效

现在我有了一个web应用程序。我想分析BigTable中存储的大型时间序列，并将结果可视化。我想对超过一百万个点的时间序列进行统计评估。所以我有一个存储时间序列的解决方案，我可以从存储器中获取正确的时间序列，但我不知道如何处理从存储器中取出的时间序列

---

我必须使用哪些服务器端工具来处理大数据？有哪些方法可以做到这一点？后端并行化和web前端聚合可视化？当我不能以同样有效的方式使用大数据时，高效地存储数据是没有用的

除非您想重新发明它，否则请使用google bigquery而不是bigtable。

---

除非您想重新发明它，否则请使用google bigquery而不是bigtable。

---

作为BigTable/BigQuery的替代方案，您可以尝试一下，它已经满足了您的需要。它是一个基于HBase的时间序列数据库。它具有内置的可视化功能，您可以直接在小部件中聚合任意数量的数据，或者使用API检索聚合的数据。如果您正在存储传感器数据，下面是一个很好的示例用例：

作为BigTable/BigQuery的替代方案，您可以尝试，它已经完成了您需要的功能。它是一个基于HBase的时间序列数据库。它具有内置的可视化功能，您可以直接在小部件中聚合任意数量的数据，或者使用API检索聚合的数据。如果您正在存储传感器数据，这里有一个很好的示例用例：

对于时间序列数据的分析和可视化，有一个非常好的解决方案称为“Metatron发现”。它提供了你所遇到问题的大部分答案。看看

对于时间序列数据的分析和可视化，有一个非常好的解决方案叫做“Metatron发现”。它提供了你所遇到问题的大部分答案。看看

好的，我也可以使用bigquery。但是我仍然有一个问题，在数据从存储中取出后，我应该如何处理数据？您不能将其原始地从存储中取出。这是一个数据库。查看文档。假设我的存储中有10亿个条目。我想建立一个简单的平均计算超过一百万个条目。我该怎么做？我想我必须拿出一百万个条目来做统计分析？好吧，我明白了。因此，我可以构建一个普通的web应用程序，并将应用程序中的数据存储到数据存储中。在此之后，我可以将数据从数据存储加载到bigquery。然后我可以运行分析并将结果可视化。如果我有实时传感器值，我应该直接将这些值流式传输到bigquery吗？bigquery可以用作webapplication的主存储吗？可以，它可以用作主存储。但是，我还没有比较数据存储和bigquery的SLA或定价。好的，我也可以使用bigquery。但是我仍然有一个问题，在数据从存储中取出后，我应该如何处理数据？您不能将其原始地从存储中取出。这是一个数据库。查看文档。假设我的存储中有10亿个条目。我想建立一个简单的平均计算超过一百万个条目。我该怎么做？我想我必须拿出一百万个条目来做统计分析？好吧，我明白了。因此，我可以构建一个普通的web应用程序，并将应用程序中的数据存储到数据存储中。在此之后，我可以将数据从数据存储加载到bigquery。然后我可以运行分析并将结果可视化。如果我有实时传感器值，我应该直接将这些值流式传输到bigquery吗？bigquery可以用作webapplication的主存储吗？可以，它可以用作主存储。但是，我还没有比较数据存储和bigquery的SLA或定价。