带有 EventHub 的达美实时表

Question

我正在尝试使用增量实时表从 eventhub 创建流，但我在安装库时遇到问题。是否可以使用 sh /pip 使用 Delta Live 表安装 maven 库？

我想安装 com.microsoft.azure:azure-eventhubs-spark_2.12:2.3.17

https://learn.microsoft.com/pl-pl/azure/databricks/spark/latest/structed-streaming/streaming-event-hubs

Answer 1

目前无法对 Delta Live Tables 使用外部连接器/Java 库。但对于 EventHubs，有一个解决方法 - 您可以使用内置的 Kafka 连接器连接到 EventHubs - 您只需指定正确的选项，如文档中所述：

@dlt.table
def eventhubs():
  readConnectionString="Endpoint=sb://<....>.windows.net/;?.."
  eh_sasl = f'kafkashaded.org.apache.kafka.common.security.plain.PlainLoginModule required username="$ConnectionString" password="{readConnectionString}";'
  kafka_options = {
     "kafka.bootstrap.servers": "<eh-ns-name>.servicebus.windows.net:9093",
     "kafka.sasl.mechanism": "PLAIN",
     "kafka.security.protocol": "SASL_SSL",
     "kafka.request.timeout.ms": "60000",
     "kafka.session.timeout.ms": "30000",
     "startingOffsets": "earliest",
     "kafka.sasl.jaas.config": eh_sasl,
     "subscribe": "<topic-name>",
  }
  return spark.readStream.format("kafka") \ 
    .options(**kafka_options).load()