Fatal编程技术网
  • apache-spark/
  • Apache spark java中的Spark-Streaming-Kinesis分区键和序列号日志

Apache spark java中的Spark-Streaming-Kinesis分区键和序列号日志

apache-spark

Apache spark java中的Spark-Streaming-Kinesis分区键和序列号日志,apache-spark,spark-streaming,amazon-kinesis,Apache Spark,Spark Streaming,Amazon Kinesis,我们正在java中使用spark 2.4.3。我们希望记录分区键和每个事件的序列号。重载的create stream函数 对于kinesis utils，总是抛出编译错误 Function<Record,Record> printSeq = s -> s; KinesisUtils.createStream( jssc, appName, streamName, endPointUrl, regionName, InitialPositionInStre

我们正在java中使用spark 2.4.3。我们希望记录分区键和每个事件的序列号。重载的create stream函数 对于kinesis utils，总是抛出编译错误

Function<Record,Record> printSeq = s -> s;
KinesisUtils.createStream(
  jssc,
  appName,
  streamName,
  endPointUrl,
  regionName,
  InitialPositionInStream.TRIM_HORIZON,
  kinesisCheckpointInterval,
  StorageLevel.MEMORY_AND_DISK_SER(),
  printSeq,
  Record.class);

函数printSeq=s->s；
KinesisUtils.createStream(
jssc，
appName，
streamName，
端点URL，
地区名称，
初始位置在水平面上的流线微调，
动觉检查点间隔，
StorageLevel.MEMORY_和DISK_SER（），
printSeq，
记录（类别）；
例外情况如下：

找不到合适的方法 createStream（org.apache.spark.streaming.api.java.JavaStreamingContext、java.lang.String、java.lang.String、java.lang.String、java.lang.String、java.lang.String、com.amazonaws.services.kinesis.clientlibrary.lib.worker.InitialPositionStream、org.apache.spark.streaming.Duration、org.apache.spark.storage.storage.StorageLevel、java.util.function、java.lang.Class）

JAVA文档：

有办法吗？

@JacekLaskowski，
函数printSeq=s->s是定义。此外，我还尝试添加
scala.reflect.ClassTag$.MODULE$.apply（Record.class）也在创建流函数的函数调用中。这是record类
com.amazonaws.services.kinesis.model.record
No idea的FQN。抱歉。@JacekLaskowski，
函数printSeq=s->s是定义。此外，我还尝试添加
scala.reflect.ClassTag$.MODULE$.apply（Record.class）也在创建流函数的函数调用中。这是record类
com.amazonaws.services.kinesis.model.record
No idea的FQN。很抱歉