Apache flink EMR上的Beam抛出java.util.ServiceConfigurationError

我有一个Apache Beam应用程序（使用Beam版本2.23.0），我正试图在预装了Flink（1.10.0）的AWS EMR（EMR-5.30.1）上部署该应用程序

当我在本地docker-flink集群上部署应用程序时，该应用程序运行没有问题。但当我这么做的时候

flink run -m yarn-cluster -c my_class my_jar.jar

在EMR群集的主节点上

我明白了

java.util.ServiceConfigurationError:com.fasterxml.jackson.databind.Module:Provider com.fasterxml.jackson.Module.jaxb.JaxbAnnotationModule不是子类型
在java.util.ServiceLoader.fail处（ServiceLoader.java:239）
在java.util.ServiceLoader.access$300（ServiceLoader.java:185）
位于java.util.ServiceLoader$LazyIterator.nextService（ServiceLoader.java:376）
位于java.util.ServiceLoader$LazyIterator.next（ServiceLoader.java:404）
位于java.util.ServiceLoader$1.next（ServiceLoader.java:480）
位于com.fasterxml.jackson.databind.ObjectMapper.findModules（ObjectMapper.java:1054）
位于org.apache.beam.sdk.options.PipelineOptionsFactory.（PipelineOptionsFactory.java:471）
位于org.myapp.main（MainApp.java:78）
在sun.reflect.NativeMethodAccessorImpl.invoke0（本机方法）处
位于sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:62）
在sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）中
位于java.lang.reflect.Method.invoke（Method.java:498）
位于org.apache.flink.client.program.PackagedProgram.callmain方法（PackagedProgram.java:321）
位于org.apache.flink.client.program.PackagedProgram.invokeInteractiveModeForExecution（PackagedProgram.java:205）
位于org.apache.flink.client.ClientUtils.executeProgram（ClientUtils.java:138）
位于org.apache.flink.client.cli.CliFrontend.executeProgram（CliFrontend.java:664）
位于org.apache.flink.client.cli.CliFrontend.run（CliFrontend.java:213）
位于org.apache.flink.client.cli.CliFrontend.parseParameters（CliFrontend.java:895）
位于org.apache.flink.client.cli.CliFrontend.lambda$main$10（CliFrontend.java:968）
位于java.security.AccessController.doPrivileged（本机方法）
位于javax.security.auth.Subject.doAs（Subject.java:422）
位于org.apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation.java:1844）
位于org.apache.flink.runtime.security.HadoopSecurityContext.runSecured（HadoopSecurityContext.java:41）
位于org.apache.flink.client.cli.CliFrontend.main（CliFrontend.java:968）

看来问题出在你身上

org.apache.beam.sdk.options.PipelineOptionsFactory.（PipelineOptionsFactory.java:471）

但我不清楚是什么导致了这种行为

有人能告诉我这是什么原因吗

---

提前谢谢你

这可能是类加载问题

在EMR Flink EC2实例上，已经有一些JAR，这些库在您自己的依赖项之前加载。因此，运行时使用的版本是EMR提供的版本，而不是您自己的

pom.xml

中作为依赖项的版本

有多种解决方案：

• 在

  pom.xml

  中，使用与EMR提供的版本相同的版本
• 在EC2实例中，用您的替换EMR版本
• 更改库加载的顺序
• 无论是什么解决方案，您都需要向Flink发送所有必需的依赖项，而不仅仅是包含您自己代码的jar

---

在我看来，这似乎是一个类加载问题。您能在类

JaxbAnnotationModule

所在的类路径中找到所有jar吗？您的jar中也有吗？您好@ArvidHeise在我的类路径中没有

JaxbAnnotationModule

，您是对的。但让我困惑的是，为什么我的应用程序在本地docker设置上运行良好？我在这两个地方部署的是同一个JAR，由于某种原因，EMR失败了，而本地JAR没有。有什么想法吗？谢谢。是的，问题确实在于版本不匹配。

java.util.ServiceConfigurationError: com.fasterxml.jackson.databind.Module: Provider com.fasterxml.jackson.module.jaxb.JaxbAnnotationModule not a subtype
at java.util.ServiceLoader.fail(ServiceLoader.java:239)
at java.util.ServiceLoader.access$300(ServiceLoader.java:185)
at java.util.ServiceLoader$LazyIterator.nextService(ServiceLoader.java:376)
at java.util.ServiceLoader$LazyIterator.next(ServiceLoader.java:404)
at java.util.ServiceLoader$1.next(ServiceLoader.java:480)
at com.fasterxml.jackson.databind.ObjectMapper.findModules(ObjectMapper.java:1054)
at org.apache.beam.sdk.options.PipelineOptionsFactory.<clinit>(PipelineOptionsFactory.java:471)
at org.myapp.main(MainApp.java:78)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:321)
at org.apache.flink.client.program.PackagedProgram.invokeInteractiveModeForExecution(PackagedProgram.java:205)
at org.apache.flink.client.ClientUtils.executeProgram(ClientUtils.java:138)
at org.apache.flink.client.cli.CliFrontend.executeProgram(CliFrontend.java:664)
at org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:213)
at org.apache.flink.client.cli.CliFrontend.parseParameters(CliFrontend.java:895)
at org.apache.flink.client.cli.CliFrontend.lambda$main$10(CliFrontend.java:968)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1844)
at org.apache.flink.runtime.security.HadoopSecurityContext.runSecured(HadoopSecurityContext.java:41)
at org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:968)