小编Luc*_*dia的帖子

Azure Databricks,无法初始化类 org.apache.spark.eventhubs.EventHubsConf

我对 Scala 还很陌生,我正在尝试创建一个笔记本来详细说明在 Azure 事件中心写入的数据。这是我的代码:

import org.apache.spark.eventhubs._

val connectionString = ConnectionStringBuilder("MY-CONNECTION-STRING")
  .setEventHubName("EVENT-HUB-NAME")
  .build

val eventHubsConf = EventHubsConf(connectionString)
  .setStartingPosition(EventPosition.fromEndOfStream)
  
val eventhubs = spark.readStream
  .format("eventhubs")
  .options(eventHubsConf.toMap)
  .load()
Run Code Online (Sandbox Code Playgroud)

我收到以下错误: java.lang.NoClassDefFoundError: Could not initialize class org.apache.spark.eventhubs.EventHubsConf$

集群配置:

  • Databricks 运行时版本:7.0(包括 Apache Spark 3.0.0、Scala 2.12)
  • 驱动程序和工作线程类型:14.0 GB 内存,4 核,0.75 DBU 标准_DS3_v2

我已经安装了以下库:

com.microsoft.azure:azure-eventhubs-spark_2.11:2.3.17
集群库
安装的另一个 JAR 是为了解决 Logging 的问题

一旦我尝试创建 eventHubsConf,代码就会崩溃。

完整的追溯:

java.lang.NoClassDefFoundError: Could not initialize class org.apache.spark.eventhubs.EventHubsConf$
at line14a6ae940dd14957b7172a4cf8f6cdd348.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.<init>(command-2632683088190841:7)
    at line14a6ae940dd14957b7172a4cf8f6cdd348.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.<init>(command-2632683088190841:70)
    at line14a6ae940dd14957b7172a4cf8f6cdd348.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.<init>(command-2632683088190841:72)
    at line14a6ae940dd14957b7172a4cf8f6cdd348.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw.<init>(command-2632683088190841:74)
    at line14a6ae940dd14957b7172a4cf8f6cdd348.$read$$iw$$iw$$iw$$iw$$iw$$iw.<init>(command-2632683088190841:76)
    at line14a6ae940dd14957b7172a4cf8f6cdd348.$read$$iw$$iw$$iw$$iw$$iw.<init>(command-2632683088190841:78)
    at line14a6ae940dd14957b7172a4cf8f6cdd348.$read$$iw$$iw$$iw$$iw.<init>(command-2632683088190841:80)
    at line14a6ae940dd14957b7172a4cf8f6cdd348.$read$$iw$$iw$$iw.<init>(command-2632683088190841:82)
    at line14a6ae940dd14957b7172a4cf8f6cdd348.$read$$iw$$iw.<init>(command-2632683088190841:84) …
Run Code Online (Sandbox Code Playgroud)

scala azure apache-spark databricks azure-databricks

4
推荐指数
1
解决办法
1466
查看次数