使用 pySpark 在 Azure Databricks 中使用来自 EventHub 的事件

Question

我可以看到 Spark 连接器和使用 Azure Databricks 中的 Scala 从事件中心消费事件的指南。

但是，我们如何使用 pySpark 从 azure databricks 消费事件中心中的事件？

任何建议/文档详细信息都会有帮助。谢谢

Answer 1

下面是从 Azure Data-bricks 上的 pyspark 的事件中心读取事件的代码片段。

// With an entity path 
val with = "Endpoint=sb://SAMPLE;SharedAccessKeyName=KEY_NAME;SharedAccessKey=KEY;EntityPath=EVENTHUB_NAME"


# Source with default settings
connectionString = "Valid EventHubs connection string."
ehConf = {
  'eventhubs.connectionString' : connectionString
}

df = spark \
  .readStream \
  .format("eventhubs") \
  .options(**ehConf) \
  .load()

readInStreamBody = df.withColumn("body", df["body"].cast("string"))
display(readInStreamBody)