Apache spark Spark结构化流式运动数据源

是否可以将Kinesis streams用作Spark结构化流的数据源？我找不到任何可用的连接器。

Qubole有一个用于此的kinesis sql库

然后，您可以使用与任何其他Spark结构化流媒体源类似的源：

val source=spark
.readStream
.格式（“动觉”）
.选项（“流名称”、“火花源流”）
.选项（“endpointUrl”https://kinesis.us-east-1.amazonaws.com")
.option（“awsAccessKeyId”，[您的访问密钥ID]）
.option（“awsSecretKey”，[您的AWS\u SECRET\u KEY]）
.选项（“起始位置”、“修剪地平线”）
负载

这仍然没有投入生产，但您可以使用它。我还建议通过KCL使用kinesis流，一旦您获得了dstream[ArrayByte]类型，就将其转换为数据帧并加载到临时视图或表中。然后，您可以轻松地在该表的顶部应用sql查询。@AmanMundra您是否尝试过kcl方法成功？我们对quobole jar产生了问题，因为它一直在写空文件