我想在 Dataproc 上运行 shell 脚本,它将使用参数执行我的 Pig 脚本。这些参数始终是动态的,由 shell 脚本计算。
目前,此脚本在 script-runner.jar 的帮助下在 AWS 上运行。我不确定如何将其移动到 Dataproc。是否有类似的东西可用于 Dataproc?
或者我将不得不更改我所有的脚本并在pig sh或的帮助下计算 Pig 中的参数pig fs?
pig sh
pig fs
apache-pig google-cloud-dataproc
apache-pig ×1
google-cloud-dataproc ×1