Python 2.7 将Kinesis客户端库与Spark-Spark一起使用

我正在寻找使用KCL对SparkStreaming使用pySpark。 任何指示都会有帮助

我尝试了一些由火花驱动的链接

但是我得到了JAVA类引用的错误

Python似乎正在使用JAVA类

我试着链接 spark-streaming-kinesis-asl-assembly_2.10-2.0.0-preview.jar 尝试在spark上应用KCL应用程序时

但是仍然有错误

如果有人已经做了，请告诉我

如果我在网上搜索，我会得到更多关于Twitter和卡夫卡的信息。 在运动方面没有得到太多帮助

---

使用的火花验证：1.6.3

我遇到了同样的问题。kinesis asl jar缺少几个文件

为了克服这个问题，我在spark提交中包括了以下JAR

amazon-kinesis-client-1.9.0.jar

aws-java-sdk-1.11.310.jar

jackson-dataformat-cbor-2.6.7.jar

注意：我使用的是Spark 2.3.0，因此列出的jar版本可能与您应该用于Spark版本的jar版本不同

---

希望这能有所帮助。

我尝试使用spark-streaming-kinesis-asl_2.10-1.6.3.jar我得到的错误是…由以下原因引起的：java.lang.ClassNotFoundException:com.amazonaws.services.kinesis.clientlibrary.lib.worker.InitialPositionInStream