我可以在集群模式下运行dataproc作业吗

Question

刚开始熟悉GCP dataproc。我注意到当我使用gcloud dataproc jobs submit pyspark提交工作时spark.submit.deployMode=client。是spark.submit.deployMode=cluster我们的选择吗？

Answer 1

是的，您可以通过指定--properties spark.submit.deployMode=cluster。只需注意驱动程序输出将在yarn用户日志中（您可以从控制台的Stackdriver Logging中访问它们）。默认情况下，我们在客户端模式下运行，以将驱动程序输出流式传输给您。