Heroku/Amazon EMR上的哪种GPS分析（存储和处理）解决方案

祝你新年快乐，万事如意！ 我们正在收集大量GPS位置，以便进行分析，我们希望使用Heroku/Amazon服务存储和处理（2-3GB每日数据）。我们正在寻找合适的解决办法。我们最初考虑的系统是将数据直接上传到Amazon S3，一个工人Dyno不断尝试处理这些数据，并将GPS位置放入Heroku PostGIS数据库，然后另一个工人Dyno将根据需要动态计算分析输出。我们还听说Amazon Elastic Map Reduce直接处理S3中的原始数据，而无需PostGIS数据库。我们需要你的指导。 对于这种存储和处理数据的需求（Heroku插件、体系结构等），您有什么建议？你对上面列出的两个备选方案有什么看法

---

非常感谢

由于您的处理细节不清楚，很难给出准确的答案。您是否需要每用户分析、每地区分析、跨天分析等

我可以向您介绍一些相关服务：

-针对此类用例的新服务（如物联网）。您可以从各种来源（包括直接从移动设备）读取数据，并在服务器端读取

Amazon DynamoDB-AWS最近为其添加了地理空间库的NoSQL DB：

-PostgreSQL非常适合GIS计算，使用RDS更易于管理，因为所需的大多数DBA工作（安装、更新、备份、恢复等）都由RDS服务完成

S3-用于存储批处理数据的位置。请注意，对于大多数处理案例（如EMR），最好使用较大的文件。您可以使用一个连接器从Kinesis读取数据并将其存储到S3中（参见GitHub示例：）

---

AmazonEMR——这是一种群集管理服务，它使运行Hadoop作业等作业变得更加容易。你可以找到一个关于EMR在地理空间分析中的应用和

< P>的介绍，你也应该考虑对数据进行预处理来限制红色记录的数量。你的大多数职位可能都在同一地点。换言之，该设备大部分时间将静止不动

一种方法是仅当新位置的速度大于0且最后存储的位置也为0时，才存储新位置。这样，在设备停止移动后，只存储第一个位置。GPS速度会有噪音，所以你不能摆脱每个静止位置

另一个选项是仅当新位置与以前存储的位置相距一定距离时才存储

通过查找请求的时间戳之前最近的记录，始终可以返回任何请求时间的结果

如果使用范围压缩，考虑将所需距离设置为GPS设备预期的RMS误差的至少大，大约为5m最小，如果您能忍受，则使用更长的距离。

---

计算地理位置之间的距离可能会耗费大量资源，预先计算一个delta lat lon值以用于传入位置以加快计算速度。

EMR启动了Kinesis connector，因此可以使用Hadoop生态系统中熟悉的工具处理此类数据集。你看到了吗