在 Spark 中，如何从行创建元组为 (Col1 , Col2,Col3 ,(Col4+Col5+Col6))

Question

在 Spark 中，如何从行创建元组

(Col1 , Col2,Col3 ,(Col4+Col5+Col6))

我有 400 多个动态生成的列名称。我不想在数据库中进行此聚合，因此 select col1,col2,col3, (col4+col5+col6) 不是解决方案。我使用 cassandra 作为数据存储

Answer 1

总的来说，我认为你的想法是正确的，所以我在这里的建议只是语法糖：

df
 .map{row => (row(0), row(1), row(2), (3 until row.length).map(row.getLong(_)).sum)}