我们存储了大量的服务器数据S3(很快就会采用Parquet格式化).数据需要一些转换,因此它不能是S3的直接副本.我将Spark用来访问数据,但我想知道是不是用Spark操纵它,写回S3,然后复制到Redshift如果我可以跳过一步并运行查询来拉/变换数据,然后直接复制到Redshift？
S3
Parquet
Spark
hadoop amazon-s3 apache-spark apache-spark-sql
amazon-s3 ×1
apache-spark ×1
apache-spark-sql ×1
hadoop ×1