相关疑难解决方法(0)

Spark Scala 2.10元组限制

我有66个要处理的DataFrame(几乎每个列值都需要更改)所以我正在运行以下语句

    val result = data.map(row=> (
        modify(row.getString(row.fieldIndex("XX"))),
        (...)
        )
    )
Run Code Online (Sandbox Code Playgroud)

直到第66列.由于此版本中的scala限制为22对的最大元组,因此无法执行此操作.问题是,有什么解决方法吗?在所有行操作之后,我将其转换为具有特定列名称的df

   result.toDf("c1",...,"c66")
   result.storeAsTempTable("someFancyResult")
Run Code Online (Sandbox Code Playgroud)

"修改"功能只是一个展示我观点的例子

scala tuples limit dataframe apache-spark

4
推荐指数
1
解决办法
3083
查看次数

标签 统计

apache-spark ×1

dataframe ×1

limit ×1

scala ×1

tuples ×1