使用Hadoop存储和处理时间序列
我想从设备中存储大量时间序列。此外,这些时间序列必须经过验证,可以由操作员修改,并且必须导出到其他系统。必须找到时间序列中的漏洞。Timeseries必须显示在按序列号和日期范围筛选的UI中 我们已经考虑过在这个场景中使用hadoop、hbase、opentsdb和spark 你觉得怎么样?Spark能否轻松连接到opentsdb使用Hadoop存储和处理时间序列,hadoop,apache-spark,hbase,time-series,opentsdb,Hadoop,Apache Spark,Hbase,Time Series,Opentsdb,我想从设备中存储大量时间序列。此外,这些时间序列必须经过验证,可以由操作员修改,并且必须导出到其他系统。必须找到时间序列中的漏洞。Timeseries必须显示在按序列号和日期范围筛选的UI中 我们已经考虑过在这个场景中使用hadoop、hbase、opentsdb和spark 你觉得怎么样?Spark能否轻松连接到opentsdb 谢谢OpenTSDB非常适合存储大量的时间序列数据。在内部,它是由HBase支持的——这意味着它必须找到一种绕过HBase局限性的方法才能表现良好。因此,时间序列的表
谢谢OpenTSDB非常适合存储大量的时间序列数据。在内部,它是由HBase支持的——这意味着它必须找到一种绕过HBase局限性的方法才能表现良好。因此,时间序列的表示是高度优化的,不容易解码。顺便说一句,没有现成的连接器可以将OpenTSDB中的数据提取到Spark中 以下GitHub项目可能会为您提供一些指导:
如果您正在寻找可以帮助您处理时间序列的LIB,请看一看-它还包含用于缺失数据插补的有用函数。OpenTSDB非常适合存储大量时间序列数据。在内部,它是由HBase支持的——这意味着它必须找到一种绕过HBase局限性的方法才能表现良好。因此,时间序列的表示是高度优化的,不容易解码。顺便说一句,没有现成的连接器可以将OpenTSDB中的数据提取到Spark中 以下GitHub项目可能会为您提供一些指导: 如果您正在寻找可以帮助您处理时间序列的LIB,请看一看-它还包含用于缺失数据插补的有用函数。看一看,它有一个相当独特的功能,可以维护相同时间戳的值更改历史。启用每度量粒度后,数据库将跟踪价值修改的来源、状态和时间,以进行审计跟踪或数据协调 我们有客户使用网络API从Spark应用程序中流式传输数据,通常是在数据通过附加元数据(aks系列标签)进行丰富后进行下游报告 您可以使用RESTAPI或从ATSD查询数据 免责声明:我为Axibase工作。看看哪一个具有相当独特的功能,可以维护相同时间戳的值更改历史记录。启用每度量粒度后,数据库将跟踪价值修改的来源、状态和时间,以进行审计跟踪或数据协调 我们有客户使用网络API从Spark应用程序中流式传输数据,通常是在数据通过附加元数据(aks系列标签)进行丰富后进行下游报告 您可以使用RESTAPI或从ATSD查询数据
免责声明:我为Axibase工作。Warp 10提供WarpScript语言,可从Spark/Pig/Flink使用该语言操纵时间序列,并通过Warp10InputFormat访问Warp 10中存储的数据 Warp 10是开源的,可访问www.warp10.io
免责声明:我是Cityzen Data的首席技术官,Warp 10的制造商。Warp 10提供WarpScript语言,可从Spark/Pig/Flink使用该语言操纵时间序列,并通过Warp10InputFormat访问存储在Warp 10中的数据 Warp 10是开源的,可访问www.warp10.io 免责声明:我是Cityzen Data的首席技术官,Warp 10的制造商