Django/Python中的实时数据处理

Django/Python中的实时数据处理,django,real-time,time-series,Django,Real Time,Time Series,我们正在进行一个涉及实时数据处理的项目。我们计划使用Django/Python。实际过程是: 数以万计的设备每秒采集4个样本(0、0.25、0.5、0.75),并持续发送回Django服务器,基本上它们是带有时间戳和值的时间序列 我们需要根据时间戳(需要毫秒精度)对齐来自所有设备的样本,并对所有时间序列进行简单平均 所有这些都需要实时完成(最大1秒延迟),并使用另一个线程发送 我们正在研究RRDTool和scikits.timeseries,但它们没有毫秒的精度,因此无法对齐我们的时间序列 只是

我们正在进行一个涉及实时数据处理的项目。我们计划使用Django/Python。实际过程是:

  • 数以万计的设备每秒采集4个样本(0、0.25、0.5、0.75),并持续发送回Django服务器,基本上它们是带有时间戳和值的时间序列
  • 我们需要根据时间戳(需要毫秒精度)对齐来自所有设备的样本,并对所有时间序列进行简单平均
  • 所有这些都需要实时完成(最大1秒延迟),并使用另一个线程发送
  • 我们正在研究RRDTool和scikits.timeseries,但它们没有毫秒的精度,因此无法对齐我们的时间序列

    只是想知道有没有什么工具/数据结构可以与Django/Python一起用于这种类型的实时数据处理。线程安全很重要,因为发送结果将在另一个线程中完成


    提前谢谢

    简短回答:不,Django不会帮你的


    长答案:听起来像是直接从Web服务器上下载自定义代码的工作。我在想直接挂在wsgi上的python脚本,甚至是用C编写的apache模块

    您可能需要研究一种非阻塞且使用EPOL的web服务器框架。与Django等更高级别的框架相比,它应该更适合您的实时需求。

    python中的实时web服务选项有:、和


    您可以将所有这些集成到Python/Django中太晚了,但我猜节点也应该被添加到您的选项列表中。