Pyspark Session 未及时达到空闲状态

Bet*_*ish 11 python amazon-web-services pyspark

我正在 pyspark AWS 上运行一个长的 jupyter 笔记本。我遇到了一种奇怪的行为,因此每当我停止正在运行的单元并再次重新运行它时,我都会收到类似于以下内容的错误: An error was encountered: Session 111 did not reach idle status in time. Current status is busy,并且我需要重新启动内核并从第一个单元重新运行,这太复杂了。

msa*_*deh 0

这就是当内核停止而不是正确停止时会发生的情况。看起来 UI 和内核不再连接在一起了