Pyspark 火花流到功率BI

顾名思义，我希望在Power BI中看到实时数据。我已经建立了到spark streaming的管道，在那里我正在处理数据，现在我想进入Power BI。最好使用Python

现在根据我的理解，可能有以下提到的不同方式

将流数据存储到Azure Blob中，并在power BI中使其成为实时连接。我知道从纸面上看这听起来很完美，但有可能这样做吗

第二种方法是在PowerBI中创建一个推送数据集，获取RESTAPI URL并将Spark streaming的请求发布到该数据集。所以我的问题是，是否可以从spark streaming向Power BI发送POST请求？谷歌只告诉我在Spark中发送请求。没有关于火花流的内容

使用PubNub SDK。可能吗？基本上如何从spark streaming向PubNub订户发送数据

将火花流摄取到HBASE中，然后在PowerBI中与其建立实时连接。可能吗

我的目标是使延迟最小

---

任何帮助都将不胜感激。

这可能不是最好的方法。我认为最好的办法是自己写。但是，您可以使用PubNub。下面是一些Python代码，用于在PubNub频道上发布仪表板数据

import requests

def publishRecord(record):
        requests.get('http://pubsub.pubnub.com/publish/publish_key_here/subscribe_key_here/0/pubnub_channel_name/0/' + str(record))   

rdd.foreach(publishRecord)

---

您可以使用TypeScript订阅仪表板中的同一频道。

好的，那么我的问题是，spark streaming（或DStream）能够迭代您共享的代码吗？你能分享一个Dstream在你的pubnub端点上迭代的代码片段吗？我将尽快为你制作一个代码片段。如果可能的话，请在明天之前完成，因为我必须在下周的生产中部署最终代码。