一直使用awsgluepythonshell作业来构建简单的数据etl作业,对于spark作业,只使用过一两次转换为orc格式或在JDBC数据上执行sparksql。那么想知道它们各自的最佳/典型用例是什么?一些文档说 python shell job 适合简单的作业,而 Spark 适合更复杂的作业,这是正确的吗?您能否分享更多这方面的经验?
非常感谢
amazon-web-services apache-spark aws-glue
amazon-web-services ×1
apache-spark ×1
aws-glue ×1