Apache spark Spark streaming中的KinesisUtils.createStream错误+；运动

我正在尝试使用

我的代码如下所示：

sc = SparkContext('local[*]', 'app_name')
ssc = StreamingContext(sc, 10)

kinesisStream = KinesisUtils.createStream(ssc,
    kinesisAppName='kinesis_app_name',
    streamName='kinesis_stream_name',
    endpointUrl='https://kinesis.ap-southeast-2.amazonaws.com',
    regionName='ap-southeast-2',
    initialPositionInStream=InitialPositionInStream.TRIM_HORIZON,
    checkpointInterval=10)

运行脚本的命令：

spark submit--packagesorg.apache.spark:spark-streaming-kinesis-asl_2.11:2.2.0 script.py

。我在Pyspark上使用Spark 2.2.0

我得到的错误是：

错误：root:发送命令时发生异常。 回溯（最近一次呼叫最后一次）： 文件“/home/ubuntu/transformer/env/lib/python3.5/site packages/py4j/java_gateway.py”，第1035行，在send_命令中 raise Py4JNetworkError（“来自Java端的答案为空”） py4j.protocol.Py4JNetworkError:来自Java端的答案为空

在处理上述异常期间，发生了另一个异常：

回溯（最近一次呼叫最后一次）： 文件“/home/ubuntu/transformer/env/lib/python3.5/site packages/py4j/java_gateway.py”，第883行，在send_命令中 响应=连接。发送命令（命令） 文件“/home/ubuntu/transformer/env/lib/python3.5/site packages/py4j/java_gateway.py”，第1040行，在send_命令中 “接收时出错”，e，接收时出现协议错误） py4j.protocol.Py4JNetworkError:接收时出错 回溯（最近一次呼叫最后一次）： 文件“kinesis_to_s3.py”，第63行，在 检查点间隔=流式传输（U间隔） createStream中的文件“/home/ubuntu/transformer/env/lib/python3.5/site packages/pyspark/streaming/kinesis.py”，第92行 stsSessionName，stsExternalId） 文件“/home/ubuntu/transformer/env/lib/python3.5/site packages/py4j/java_gateway.py”，第1133行，在调用中 回答，self.gateway\u客户端，self.target\u id，self.name） 文件“/home/ubuntu/transformer/env/lib/python3.5/site packages/py4j/protocol.py”，第327行，在get_return_值中 格式（目标id，“.”，名称）） py4j.protocol.Py4JError:调用o27.createStream时出错 线程“thread-2”java.lang.NoClassDefFoundError中出现异常：com/amazonaws/services/kinesis/clientlibrary/lib/worker/InitialPositionInStream 位于java.lang.Class.getDeclaredMethods0（本机方法） 位于java.lang.Class.privateGetDeclaredMethods（Class.java:2701） 位于java.lang.Class.privateGetPublicMethods（Class.java:2902） 位于java.lang.Class.getMethods（Class.java:1615） 位于py4j.reflection.ReflectionEngine.getMethodsByNameAndLength（ReflectionEngine.java:345） 位于py4j.reflection.ReflectionEngine.getMethod（ReflectionEngine.java:305） 位于py4j.reflection.ReflectionEngine.getMethod（ReflectionEngine.java:326） 在py4j.Gateway.invoke处（Gateway.java:272） 位于py4j.commands.AbstractCommand.invokeMethod（AbstractCommand.java:132） 在py4j.commands.CallCommand.execute（CallCommand.java:79） 在py4j.GatewayConnection.run处（GatewayConnection.java:214） 运行（Thread.java:748） 原因：java.lang.ClassNotFoundException:com.amazonaws.services.kinesis.clientlibrary.lib.worker.InitialPositionInStream 位于java.net.URLClassLoader.findClass（URLClassLoader.java:381） 位于java.lang.ClassLoader.loadClass（ClassLoader.java:424） 位于sun.misc.Launcher$AppClassLoader.loadClass（Launcher.java:335） 位于java.lang.ClassLoader.loadClass（ClassLoader.java:357） ... 还有12个