小编Neo*_*Neo的帖子

cmake 部分输出如下所示：

-- Performing Test CMAKE_HAVE_LIBC_PTHREAD
-- Performing Test CMAKE_HAVE_LIBC_PTHREAD - Failed

我有 55 GB 数据需要处理。我在一台具有 32 个内核和 180GB RAM（无集群）的机器上运行 Spark-shell。由于它是一个单节点，Driver 和 Workers 驻留在同一个 JVM 进程中，默认情况下使用 514 MB。

我将 spark.driver.memory 设置为 170G

spark-shell  --driver-memory 170g

我正在执行映射操作，然后是 group_by，然后是 agg 并写入镶木地板文件。它仍然停留在

无论如何，是否可以通过更改 spark.executor.memory 或更改使用的内核数而不是使用 Master[*] 来优化性能？如何确定给定任务和数据大小的最佳设置？我应该精确调整 --conf 文件中的哪些值？

简而言之，如何强制 Spark 以最佳方式使用所有可用资源？

我希望将数据框中的多行合并为基于一列的单行

这就是我的 df 的样子：

    id       Name       score
0  1234      jim         34
1  5678      james       45
2  4321      Macy        56
3  1234      Jim         78
4  5678      James       80

我想根据“分数”列进行组合，因此输出如下所示：

    id       Name       score
0  1234      jim         34,78
1  5678      james       45,80
2  4321      Macy        56

基本上我想做爆炸功能的相反操作。如何使用 pandas 数据框实现此目的？