使用 Pycharm 在 EMR 上调试 Pyspark

Question

有没有人有使用 Pycharm 调试在 AWS EMR 上运行的 Pyspark 的经验？

我找不到任何好的指南或现有的线程来重新分级这个。

我知道如何使用 Intellij 针对 EMR 调试 Scala-Spark，但我没有使用 Python 执行此操作的经验。

我知道能够使用 ssh (EMR Master) 连接到远程服务器，也许使用专业版我可以使用远程部署功能使用 Pycharm 运行我的 Spark 作业，但我不确定它是否可以工作，我想知道是否有人尝试过，在我使用 Pycharm Pro 之前。

Answer 1

我按照自己的意愿在 EMR 上调试 Pyspark。请查看这篇 Medium 博客文章，其中描述了如何执行此操作：

https://medium.com/explorium-ai/debugging-pyspark-with-pycharm-and-aws-emr-d50f90077c92

它描述了如何使用 Pycharm Pro - 远程部署功能来调试 pyspark 程序。