那些遇到过的问题

Dataproc 依赖冲突 - google-api-client

Nir*_*ira 1 java scala google-cloud-storage google-cloud-dataproc google-cloud-kms

我正在构建一个用于从云存储中获取加密机密的库（在 Scala 中，使用 Java 客户端）。我正在使用以下谷歌库：

"com.google.apis"  % "google-api-services-cloudkms" % "v1-rev26-1.23.0" exclude("com.google.guava", "guava-jdk5"),
"com.google.cloud" % "google-cloud-storage"         % "1.14.0",
Run Code Online (Sandbox Code Playgroud)

在本地一切正常，但是当我尝试在 Dataproc 中运行我的代码时，出现以下错误：

Exception in thread "main" java.lang.NoSuchMethodError: com.google.api.client.googleapis.services.json.AbstractGoogleJsonClient$Builder.setBatchPath(Ljava/lang/String;)Lcom/google/api/client/googleapis/services/AbstractGoogleClient$Builder;
    at com.google.api.services.cloudkms.v1.CloudKMS$Builder.setBatchPath(CloudKMS.java:4250)
    at com.google.api.services.cloudkms.v1.CloudKMS$Builder.<init>(CloudKMS.java:4229)
    at gcp.encryption.EncryptedSecretsUser$class.clients(EncryptedSecretsUser.scala:111)
    at gcp.encryption.EncryptedSecretsUser$class.getEncryptedSecrets(EncryptedSecretsUser.scala:62)
Run Code Online (Sandbox Code Playgroud)

我的代码中的违规行是：

val kms: CloudKMS = new CloudKMS.Builder(credential.getTransport,
      credential.getJsonFactory,
      credential)
      .setApplicationName("Encrypted Secrets User")
      .build()
Run Code Online (Sandbox Code Playgroud)

我在文档中看到一些 google 库在 Dataproc 上可用（我使用的是映像版本为 1.2.15 的 Spark 集群）。但据我所知，google-api-client 的传递依赖与我在本地使用的依赖 (1.23.0) 相同。那么怎么找不到方法呢？

我是否应该为在 Dataproc 上运行设置不同的依赖项？

编辑

最后设法在另一个项目中解决了这个问题。事实证明，除了对所有 google 依赖项（包括 gcs-connector ！！）进行着色之外，您还必须向 JVM 注册着色类以处理 gs:// 文件系统。下面是适用于我的 maven 配置，使用 sbt 可以实现类似的功能：

父 POM：

<project xmlns="http://maven.apache.org/POM/4.0.0"...>
...
<properties>
    <!-- Spark version -->
    <spark.version>[2.2.1]</spark.version>
    <!-- Jackson-libs version pulled in by spark -->
    <jackson.version>[2.6.5]</jackson.version>
    <!-- Avro version pulled in by jackson -->
    <avro.version>[1.7.7]</avro.version>
    <!-- Kryo-shaded version pulled in by spark -->
    <kryo.version>[3.0.3]</kryo.version>
    <!-- Apache commons-lang version pulled in by spark -->
    <commons.lang.version>2.6</commons.lang.version>

    <!-- TODO: need to shade google libs because of version-conflicts on Dataproc. Remove this when Dataproc 1.3/2.0 is released -->
    <bigquery-conn.version>[0.10.6-hadoop2]</bigquery-conn.version>
    <gcs-conn.version>[1.6.5-hadoop2]</gcs-conn.version>
    <google-storage.version>[1.29.0]</google-storage.version>
    <!-- The guava version we want to use -->
    <guava.version>[23.2-jre]</guava.version>
    <!-- The google api version used by the google-cloud-storage lib -->
    <api-client.version>[1.23.0]</api-client.version>
    <!-- The google-api-services-storage version used by the google-cloud-storage lib -->
    <storage-api.version>[v1-rev114-1.23.0]</storage-api.version>

    <!-- Picked up by compiler and resource plugins -->
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
</properties>

...

<build>
    <pluginManagement>
        <plugins>
...

        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-shade-plugin</artifactId>
            <version>3.1.1</version>
            <executions>
                <execution>
                    <phase>package</phase>
                    <goals>
                        <goal>shade</goal>
                    </goals>
                    <configuration>
                        <minimizeJar>true</minimizeJar>
                        <filters>
                            <filter>
                                <artifact>com.google.**:*</artifact>
                                <includes>
                                    <include>**</include>
                                </includes>
                            </filter>
                            <filter>
                                <artifact>com.google.cloud.bigdataoss:gcs-connector</artifact>
                                <excludes>
                                    <!-- Register a provider with the shaded name instead-->
                                    <exclude>META-INF/services/org.apache.hadoop.fs.FileSystem</exclude>
                                </excludes>
                            </filter>
                        </filters>
                        <artifactSet>
                            <includes>
                                <include>com.google.*:*</include>
                            </includes>
                            <excludes>
                                <exclude>com.google.code.findbugs:jsr305</exclude>
                            </excludes>
                        </artifactSet>
                        <relocations>
                            <relocation>
                                <pattern>com.google</pattern>
                                <shadedPattern>com.shaded.google</shadedPattern>
                            </relocation>
                        </relocations>
                    </configuration>
                </execution>
            </executions>
        </plugin>
...
    </plugins>
</build>

<dependencyManagement>
    <dependencies>
        <dependency>
...
            <groupId>com.google.cloud.bigdataoss</groupId>
            <artifactId>gcs-connector</artifactId>
            <version>${gcs-conn.version}</version>
            <exclusions>
                <!-- conflicts with Spark dependencies -->
                <exclusion>
                    <groupId>org.apache.hadoop</groupId>
                    <artifactId>hadoop-common</artifactId>
                </exclusion>
                <!-- conflicts with Spark dependencies -->
                <exclusion>
                    <groupId>org.apache.hadoop</groupId>
                    <artifactId>hadoop-mapreduce-client-core</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>com.google.guava</groupId>
                    <artifactId>guava</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <!-- Avoid conflict with the version pulled in by the GCS-connector on Dataproc -->
            <groupId>com.google.apis</groupId>
            <artifactId>google-api-services-storage</artifactId>
            <version>${storage-api.version}</version>
        </dependency>
        <dependency>
            <groupId>commons-lang</groupId>
            <artifactId>commons-lang</artifactId>
            <version>${commons.lang.version}</version>
        </dependency>
        <dependency>
            <groupId>com.esotericsoftware</groupId>
            <artifactId>kryo-shaded</artifactId>
            <version>${kryo.version}</version>
        </dependency>
        <dependency>
            <groupId>com.fasterxml.jackson.core</groupId>
            <artifactId>jackson-databind</artifactId>
            <version>${jackson.version}</version>
        </dependency>
        <dependency>
            <groupId>com.google.api-client</groupId>
            <artifactId>google-api-client</artifactId>
            <version>${api-client.version}</version>
        </dependency>
        <dependency>
            <groupId>com.google.guava</groupId>
            <artifactId>guava</artifactId>
            <version>${guava.version}</version>
        </dependency>
    </dependencies>
</dependencyManagement>

<dependencies>
    <dependency>
        <groupId>com.google.cloud</groupId>
        <artifactId>google-cloud-storage</artifactId>
        <version>${google-storage.version}</version>
        <exclusions>
            <!-- conflicts with Spark dependencies -->
            <exclusion>
                <groupId>com.google.guava</groupId>
                <artifactId>guava</artifactId>
            </exclusion>
        </exclusions>
    </dependency>
    <dependency>
        <groupId>com.google.guava</groupId>
        <artifactId>guava</artifactId>
    </dependency>
...
</dependencies>

...
</project>
Run Code Online (Sandbox Code Playgroud)

子POM：

    <dependencies>
    <!-- Libraries available on dataproc -->
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <scope>provided</scope>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.11</artifactId>
        <scope>provided</scope>
    </dependency>
    <dependency>
        <groupId>com.google.cloud.bigdataoss</groupId>
        <artifactId>gcs-connector</artifactId>
    </dependency>
    <dependency>
        <groupId>com.esotericsoftware</groupId>
        <artifactId>kryo-shaded</artifactId>
        <scope>provided</scope><!-- Pulled in by spark -->
    </dependency>
    <dependency>
        <groupId>com.fasterxml.jackson.core</groupId>
        <artifactId>jackson-databind</artifactId>
        <scope>provided</scope><!-- Pulled in by spark -->
    </dependency>
</dependencies>
Run Code Online (Sandbox Code Playgroud)

并添加一个名为org.apache.hadoop.fs.FileSystemunder的文件path/to/your-project/src/main/resources/META-INF/services，其中包含着色类的名称，例如：

# WORKAROUND FOR DEPENDENCY CONFLICTS ON DATAPROC
#
# Use the shaded class as a provider for the gs:// file system
#

com.shaded.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem
Run Code Online (Sandbox Code Playgroud)

（注意这个文件gcs-connector在父POM的库中被过滤掉了）

Den*_*Huo 5

可能不是很明显，但google-api-client最新的稳定 GCS 连接器中的版本实际上是1.20.0.

原因是这是将 api 客户端版本向前滚动到 1.23.0 的提交，并且它是包括此依赖着色提交在内的一系列提交的一部分，其总体目标是不再将传递依赖泄漏到作业类路径中总之，正是为了避免将来出现版本冲突问题，代价是每个人都必须自己携带包含完整 api 客户端依赖项的胖 jar。

然而，事实证明，许多人已经开始依赖 GCS 连接器提供的 api 客户端在类路径上，因此有些生产工作负载无法在次要版本升级中承受这种变化；因此，升级后的 GCS 连接器使用 1.23.0 但也会对其进行着色，以便它不再出现在作业类路径中，为未来的 Dataproc 1.3+ 或 2.0+ 版本保留。

在您的情况下，您可以尝试使用1.20.0依赖项的一个版本（您可能还必须降级google-cloud-storage您包含的依赖项的1.22.0版本，尽管假设没有重大更改，该版本仍然可以工作，因为 setBatchPath 确实只在 中引入1.23.0），否则，您可以尝试使用 sbt-assembly 隐藏您自己的所有依赖项。

我们可以验证setBatchPath仅在 中引入1.23.0：

$ javap -cp google-api-client-1.22.0.jar com.google.api.client.googleapis.services.AbstractGoogleClient.Builder | grep set
  public com.google.api.client.googleapis.services.AbstractGoogleClient$Builder setRootUrl(java.lang.String);
  public com.google.api.client.googleapis.services.AbstractGoogleClient$Builder setServicePath(java.lang.String);
  public com.google.api.client.googleapis.services.AbstractGoogleClient$Builder setGoogleClientRequestInitializer(com.google.api.client.googleapis.services.GoogleClientRequestInitializer);
  public com.google.api.client.googleapis.services.AbstractGoogleClient$Builder setHttpRequestInitializer(com.google.api.client.http.HttpRequestInitializer);
  public com.google.api.client.googleapis.services.AbstractGoogleClient$Builder setApplicationName(java.lang.String);
  public com.google.api.client.googleapis.services.AbstractGoogleClient$Builder setSuppressPatternChecks(boolean);
  public com.google.api.client.googleapis.services.AbstractGoogleClient$Builder setSuppressRequiredParameterChecks(boolean);
  public com.google.api.client.googleapis.services.AbstractGoogleClient$Builder setSuppressAllChecks(boolean);

$ javap -cp google-api-client-1.23.0.jar com.google.api.client.googleapis.services.AbstractGoogleClient.Builder | grep set
  public com.google.api.client.googleapis.services.AbstractGoogleClient$Builder setRootUrl(java.lang.String);
  public com.google.api.client.googleapis.services.AbstractGoogleClient$Builder setServicePath(java.lang.String);
  public com.google.api.client.googleapis.services.AbstractGoogleClient$Builder setBatchPath(java.lang.String);
  public com.google.api.client.googleapis.services.AbstractGoogleClient$Builder setGoogleClientRequestInitializer(com.google.api.client.googleapis.services.GoogleClientRequestInitializer);
  public com.google.api.client.googleapis.services.AbstractGoogleClient$Builder setHttpRequestInitializer(com.google.api.client.http.HttpRequestInitializer);
  public com.google.api.client.googleapis.services.AbstractGoogleClient$Builder setApplicationName(java.lang.String);
  public com.google.api.client.googleapis.services.AbstractGoogleClient$Builder setSuppressPatternChecks(boolean);
  public com.google.api.client.googleapis.services.AbstractGoogleClient$Builder setSuppressRequiredParameterChecks(boolean);
  public com.google.api.client.googleapis.services.AbstractGoogleClient$Builder setSuppressAllChecks(boolean);
Run Code Online (Sandbox Code Playgroud)

归档时间：

查看次数：

1874 次

最近记录：

7 年，7 月 前
相关归档
如何修复NoSuchMethodError？ 162
如何回到Eclipse？ 120
Collectors.toSet()和HashSet 63
创建简单项目SBT 0.10.X 40
Scala流程 - 捕获标准输出和退出代码 34
sbt多项目构建与项目之间的测试依赖？ 13
为什么在使用"sbt it:test"时Play/Scala项目中的集成测试没有执行？ 12
Scala-GWT状态 9
spray-json无法编组Map [String,String] 9
如何找到两个 JSON 文件之间的差异/不匹配？ 7
难疑归档
如何强制"git pull"覆盖本地文件？ 6654
为什么Google会在(1)之前提前; 他们的JSON回复？ 3940
如何在Java中声明和初始化数组？ 1946
如何使用java.net.URLConnection来触发和处理HTTP请求 1903
按值对地图<键,值>进行排序 1569
我应该在哪里将<script>标记放在HTML标记中？ 1392
你怎么读斯坦丁？ 1389
在文本框中的Enter键上使用JavaScript触发按钮单击 1250
如何找出哪个DOM元素具有焦点？ 1234
你如何重命名Git标签？ 1162