Vaw*_*ani 5 spark-java apache-spark
我想对使用Windows中的命令提示符提交给Spark的应用程序进行远程调试.请你帮助我好吗？
我可以提供的任何地方Spark启动远程调试端口.
你总是可以做到的Remote Debugging使用Spark与Java/scala.如果您要检查小dataset有localmode那么你可以使用步骤调试器.对一看Java Debugger,它是如何工作的第一位.
如果你想使用Spark特定的调试中Remotemode.然后检查此链接已与循序渐进的过程非常好的例子.
要调试驱动程序,可以在spark-submit命令中添加以下内容.然后将远程调试器设置为连接到启动驱动程序的节点.
--driver-java-options -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005
您可以port根据需要自定义.在这种情况下,在侦听模式下启动调试器,然后启动spark程序并等待执行程序附加到调试器.将执行程序的数量设置为1或者多个执行程序都将尝试连接到您的执行程序非常重要debugger,这可能会导致问题.查看上面的示例了解更多详细信息.
如果您正在使用jetbrains,那么您可以使用此示例Spark远程调试
| 归档时间： |
|
| 查看次数： |
2850 次 |
| 最近记录： |