java.lang.NoSuchMethodError Bouncy Castle和Apache Spark

事实上，我找到了一家公司（我所在的公司）专门针对这个问题开展工作，但问题太离奇了，我想看看是否有其他人遇到过这个问题，以及他们是如何解决的

首先，我在spark工作中添加了两个bouncy castle依赖项：

    <!-- https://mvnrepository.com/artifact/org.bouncycastle/bcprov-jdk15on -->
    <dependency>
        <groupId>org.bouncycastle</groupId>
        <artifactId>bcprov-jdk15on</artifactId>
        <version>1.52</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.bouncycastle/bcpg-jdk15on -->
    <dependency>
        <groupId>org.bouncycastle</groupId>
        <artifactId>bcpg-jdk15on</artifactId>
        <version>1.52</version>
    </dependency>

尝试运行

Strings.newList（）时在主类中。因此，我运行了
mvn dependency:tree
，查看是否有多个版本的bouncy castle，我只看到了添加到pom中的依赖项

这里是真正奇怪的部分：如果我构建jar并使用
java-jar-jar-name-jar-with-dependencies.jar
（意思不是通过spark submit）运行它，那么依赖关系添加得很好，并且我没有看到任何错误。考虑到这一点，spark submit jar和直接运行jar有什么区别？
为什么一个工作，另一个失败？我试过在不同的机器上运行它，比如emr作业，但仍然看到相同的错误。（为了避免被问到这一点，我将使用带有依赖项的jar作为spark作业）

最后一点要注意的是，我已经看过这篇文章，但它并不适用，因为我可以让jar运行，而我只运行jar本身，而不使用spark submit。
我对spark知之甚少，但很明显，您提交作业的节点在您的运行时类路径中提供了一个冲突（1.52之前）版本的BC。e、 将BC提供者jar安装到jvm的jre/lib/ext目录中是非常典型的。我不知道，也许还有其他更具spark特色的机制也提供了预装JAR。事实上，情况很可能非常接近，你给出的驳回理由在我看来是倒退的。此外，如果你对正在使用的BC版本有任何影响，请敦促升级到最新版本（1.56），并定期更新我们的新版本。
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-assembly-plugin</artifactId>
            <version>2.4.1</version>
            <configuration>
                <!-- get all project dependencies -->
                <descriptorRefs>
                    <descriptorRef>jar-with-dependencies</descriptorRef>
                </descriptorRefs>
                <!-- MainClass in mainfest make a executable jar -->
                <archive>
                    <manifest>
                        <mainClass>com.theclasspath.jobs.TestingJob</mainClass>
                    </manifest>
                </archive>

            </configuration>
            <executions>
                <execution>
                    <id>make-assembly</id>
                    <!-- bind to the packaging phase -->
                    <phase>package</phase>
                    <goals>
                        <goal>single</goal>
                    </goals>
                </execution>
            </executions>
        </plugin>

java.lang.NoSuchMethodError: org.bouncycastle.util.Strings.newList()Lorg/bouncycastle/util/StringList;