Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/asp.net-core/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark Fitbit数据的Spark流_Apache Spark_Oauth 2.0_Apache Spark Sql_Spark Streaming_Fitbit - Fatal编程技术网

Apache spark Fitbit数据的Spark流

Apache spark Fitbit数据的Spark流,apache-spark,oauth-2.0,apache-spark-sql,spark-streaming,fitbit,Apache Spark,Oauth 2.0,Apache Spark Sql,Spark Streaming,Fitbit,我正在使用Fitbit Oauth 2.0访问Fitbit数据。我将这些数据存储在SQL数据库中,之后,我将使用Spark SQL分析数据。 如果我必须使用Spark流媒体,那么在执行OAuth之后,如何将数据摄取到Spark?有多种方法可以做到这一点 您可以将fitbit数据格式化为结构化数据,然后将其转储到HDFS/Kafka/Socket,并启动相应的HDFS/Kafka/Socket接收器 您可以编写自己的自定义接收器,直接使用OAuth或从SQL db接收数据

我正在使用Fitbit Oauth 2.0访问Fitbit数据。我将这些数据存储在SQL数据库中,之后,我将使用Spark SQL分析数据。
如果我必须使用Spark流媒体,那么在执行OAuth之后,如何将数据摄取到Spark?

有多种方法可以做到这一点

  • 您可以将fitbit数据格式化为结构化数据,然后将其转储到HDFS/Kafka/Socket,并启动相应的HDFS/Kafka/Socket接收器

  • 您可以编写自己的自定义接收器,直接使用OAuth或从SQL db接收数据