小编kka*_*k12的帖子

如何在 foreachBatch 函数中打印/记录输出?

使用表流,我尝试使用 foreachBatch 写入流

df.writestream
.format("delta")
.foreachBatch(WriteStreamToDelta)
...
Run Code Online (Sandbox Code Playgroud)

WriteStreamToDelta 看起来像

def WriteStreamToDelta(microDF, batch_id):
   microDFWrangled = microDF."some_transformations"
   
   print(microDFWrangled.count()) <-- How do I achieve the equivalence of this?

   microDFWrangled.writeStream...
Run Code Online (Sandbox Code Playgroud)

我想查看其中的行数

  1. 笔记本,位于 writeStream 单元下方
  2. 驾驶员日志
  3. 创建一个列表以附加每个微批次的行数。

apache-spark databricks spark-structured-streaming

10
推荐指数
1
解决办法
878
查看次数