Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/database/8.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Database 我可以在ApacheSpark上运行时间序列数据库(TSDB)吗?_Database_Apache Spark_Time Series_Bigdata - Fatal编程技术网

Database 我可以在ApacheSpark上运行时间序列数据库(TSDB)吗?

Database 我可以在ApacheSpark上运行时间序列数据库(TSDB)吗?,database,apache-spark,time-series,bigdata,Database,Apache Spark,Time Series,Bigdata,我开始学习大数据,我有一个疑问 在未来,我需要从物联网收集数据,这些数据将作为一种信息提供给我。我正在阅读关于时间序列数据库()的文章,我发现了一些开源选项,如Atlas、KairosDB、OpenTSDB等 我实际上需要ApacheSpark,所以我想知道:我可以在ApacheSpark上使用时间序列数据库吗?这有什么意义吗?请记住,我对大数据、Apache Spark以及我在这个问题中谈到的所有问题的概念都非常陌生 如果我能在Spark上运行TSDB,我该如何实现呢?我是一名OpenTSDB

我开始学习大数据,我有一个疑问

在未来,我需要从物联网收集数据,这些数据将作为一种信息提供给我。我正在阅读关于时间序列数据库()的文章,我发现了一些开源选项,如Atlas、KairosDB、OpenTSDB等

我实际上需要ApacheSpark,所以我想知道:我可以在ApacheSpark上使用时间序列数据库吗?这有什么意义吗?请记住,我对大数据、Apache Spark以及我在这个问题中谈到的所有问题的概念都非常陌生


如果我能在Spark上运行TSDB,我该如何实现呢?

我是一名OpenTSDB提交者,我知道这是一个老问题,但我想回答。我的建议是将传入的数据写入OpenTSDB,假设您只想存储原始数据并在以后进行处理。然后使用Spark,使用OpenTSDB类执行OpenTSDB查询

你也可以用类来写数据,我想你应该使用IncomingDataPoint结构,我现在手头上还没有详细的资料。请随时通过OpenTSDB邮件列表与我联系,了解更多问题

如果您在这里看到OpenTSDB如何处理传入的“put”请求,您应该能够在代码中执行同样的写入操作:

您可以在这里看到提交OpenTSDB查询的拼接器项目,类似的方法可以用于Spark项目,我认为:


您应该能够查看和实现,例如-我还没有找到任何OpenTSDB Java API,因此您可能需要深入研究。这是一个有趣的主题,但您所说的
TSDB over Spark
是什么意思?您需要在数据库中执行传感器数据处理的哪一部分,在Spark中执行哪一部分?我需要将所有时间序列存储在一个好的数据库中,稍后我需要Spark在这些数据上使用它的机器学习算法。@FernandoPaladini应该没有问题,Spark可以充当客户机吗,例如,通过JDBC执行REST查询或SQL查询?@SergeiRodionov我认为真正的问题是,如果您通过REST API或SQL查询加载数据,它将在驱动程序进程中加载。数据不会以分布式方式加载。