小编KMM*_*KMM的帖子

使用结构化流 pyspark中记录的步骤，我无法从我设置的 Azure 事件中心在pyspark中创建数据帧以读取流数据。

错误消息是： java.util.ServiceConfigurationError：org.apache.spark.sql.sources.DataSourceRegister：无法实例化提供程序org.apache.spark.sql.eventhubs.EventHubsSourceProvider

我已经安装了 Maven 库（com.microsoft.azure:azure-eventhubs-spark_2.11:2.3.12 不可用），但似乎没有一个可以工作：com.microsoft.azure:azure-eventhubs-spark_2.11:2.3.15 com.microsoft.azure:azure-eventhubs-spark_2.11:2.3.6

但ehConf['eventhubs.connectionString'] = sc._jvm.org.apache.spark.eventhubs.EventHubsUtils.encrypt(connectionString)返回的错误消息是：

java.lang.NoSuchMethodError: org.apache.spark.internal.Logging.$init$(Lorg/apache/spark/internal/Logging;)V

连接字符串是正确的，因为它也在写入 Azure 事件中心且有效的控制台应用程序中使用。

请有人指出我正确的方向。使用中的代码如下：

from pyspark.sql.functions import *
from pyspark.sql.types import *

# Event Hub Namespace Name
NAMESPACE_NAME = "*myEventHub*"
KEY_NAME = "*MyPolicyName*"
KEY_VALUE = "*MySharedAccessKey*"

# The connection string to your Event Hubs Namespace
connectionString = "Endpoint=sb://{0}.servicebus.windows.net/;SharedAccessKeyName={1};SharedAccessKey={2};EntityPath=ingestion".format(NAMESPACE_NAME, KEY_NAME, KEY_VALUE)

ehConf = {}
ehConf['eventhubs.connectionString'] = connectionString

# For 2.3.15 version and above, the configuration dictionary requires that connection string …