Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/django/22.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/hibernate/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/selenium/4.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Django 带地理位置的大数据存储,用于频繁更新_Django_Bigdata_Geospatial_Datastore - Fatal编程技术网

Django 带地理位置的大数据存储,用于频繁更新

Django 带地理位置的大数据存储,用于频繁更新,django,bigdata,geospatial,datastore,Django,Bigdata,Geospatial,Datastore,我必须为我的项目选择一个大数据存储 它必须包括Geo(lat、lon和一些基于此的计算,如距指定位置的距离) 数据将经常更新。我计划每分钟更新大约20k-80k个对象。它将总共存储大约500k个对象。每分钟我都会得到一组~50k个XML对象。我需要解析它,更新现有的,并添加新的 基于特定字段,所有对象都是唯一的。 在一段时间内,我将不得不添加存储历史数据(每个对象3周前,每分钟更新一次) 你建议储存什么?我在考虑aws redis或mongodb。我担心ppstgresql不会成功 我的项目是在

我必须为我的项目选择一个大数据存储

它必须包括Geo(lat、lon和一些基于此的计算,如距指定位置的距离)

数据将经常更新。我计划每分钟更新大约20k-80k个对象。它将总共存储大约500k个对象。每分钟我都会得到一组~50k个XML对象。我需要解析它,更新现有的,并添加新的

基于特定字段,所有对象都是唯一的。 在一段时间内,我将不得不添加存储历史数据(每个对象3周前,每分钟更新一次)

你建议储存什么?我在考虑aws redis或mongodb。我担心ppstgresql不会成功

我的项目是在Django和处理将触发使用芹菜

谢谢您的建议。

您可以与插件一起使用

本网站帮助您了解如何配置和使用它。当我在处理大型空间数据时,我尝试了它,当时效果很好

我使用Cloudera堆栈配置Accumulo,因为它使配置Accumulo变得简单,但您可以独立安装它

您可以与插件一起使用

本网站帮助您了解如何配置和使用它。当我在处理大型空间数据时,我尝试了它,当时效果很好

我使用Cloudera堆栈配置Accumulo,因为它使配置Accumulo变得简单,但您可以独立安装它