Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
使用Hadoop存储和处理时间序列_Hadoop_Apache Spark_Hbase_Time Series_Opentsdb - Fatal编程技术网

使用Hadoop存储和处理时间序列

使用Hadoop存储和处理时间序列,hadoop,apache-spark,hbase,time-series,opentsdb,Hadoop,Apache Spark,Hbase,Time Series,Opentsdb,我想从设备中存储大量时间序列。此外,这些时间序列必须经过验证,可以由操作员修改,并且必须导出到其他系统。必须找到时间序列中的漏洞。Timeseries必须显示在按序列号和日期范围筛选的UI中 我们已经考虑过在这个场景中使用hadoop、hbase、opentsdb和spark 你觉得怎么样?Spark能否轻松连接到opentsdb 谢谢OpenTSDB非常适合存储大量的时间序列数据。在内部,它是由HBase支持的——这意味着它必须找到一种绕过HBase局限性的方法才能表现良好。因此,时间序列的表

我想从设备中存储大量时间序列。此外,这些时间序列必须经过验证,可以由操作员修改,并且必须导出到其他系统。必须找到时间序列中的漏洞。Timeseries必须显示在按序列号和日期范围筛选的UI中

我们已经考虑过在这个场景中使用hadoop、hbase、opentsdb和spark

你觉得怎么样?Spark能否轻松连接到opentsdb


谢谢

OpenTSDB非常适合存储大量的时间序列数据。在内部,它是由HBase支持的——这意味着它必须找到一种绕过HBase局限性的方法才能表现良好。因此,时间序列的表示是高度优化的,不容易解码。顺便说一句,没有现成的连接器可以将OpenTSDB中的数据提取到Spark中

以下GitHub项目可能会为您提供一些指导:


如果您正在寻找可以帮助您处理时间序列的LIB,请看一看-它还包含用于缺失数据插补的有用函数。

OpenTSDB非常适合存储大量时间序列数据。在内部,它是由HBase支持的——这意味着它必须找到一种绕过HBase局限性的方法才能表现良好。因此,时间序列的表示是高度优化的,不容易解码。顺便说一句,没有现成的连接器可以将OpenTSDB中的数据提取到Spark中

以下GitHub项目可能会为您提供一些指导:

如果您正在寻找可以帮助您处理时间序列的LIB,请看一看-它还包含用于缺失数据插补的有用函数。

看一看,它有一个相当独特的功能,可以维护相同时间戳的值更改历史。启用每度量粒度后,数据库将跟踪价值修改的来源、状态和时间,以进行审计跟踪或数据协调

我们有客户使用网络API从Spark应用程序中流式传输数据,通常是在数据通过附加元数据(aks系列标签)进行丰富后进行下游报告

您可以使用RESTAPI或从ATSD查询数据

免责声明:我为Axibase工作。

看看哪一个具有相当独特的功能,可以维护相同时间戳的值更改历史记录。启用每度量粒度后,数据库将跟踪价值修改的来源、状态和时间,以进行审计跟踪或数据协调

我们有客户使用网络API从Spark应用程序中流式传输数据,通常是在数据通过附加元数据(aks系列标签)进行丰富后进行下游报告

您可以使用RESTAPI或从ATSD查询数据


免责声明:我为Axibase工作。

Warp 10提供WarpScript语言,可从Spark/Pig/Flink使用该语言操纵时间序列,并通过Warp10InputFormat访问Warp 10中存储的数据

Warp 10是开源的,可访问www.warp10.io


免责声明:我是Cityzen Data的首席技术官,Warp 10的制造商。

Warp 10提供WarpScript语言,可从Spark/Pig/Flink使用该语言操纵时间序列,并通过Warp10InputFormat访问存储在Warp 10中的数据

Warp 10是开源的,可访问www.warp10.io

免责声明:我是Cityzen Data的首席技术官,Warp 10的制造商