为什么Apache-Spark - Python在本地与熊猫相比如此之慢？

Question

这里有一个火花新手.我最近开始使用该命令在我的本地计算机上使用两个核心来玩火花.

pyspark - 本地大师[2]

我有一个393 Mb的文本文件,有近百万行.我想执行一些数据操作操作.我正在使用Pyspark的内置Dataframe函数来执行简单的操作,如groupBy,sum,max.STDDEV.

无论如何,当我在完全相同的数据集上对熊猫进行完全相同的操作时,大熊猫似乎在延迟方面以极大的差距击败了pyspark.

我想知道这可能是什么原因.我有几个想法.

1. 内置函数是否低效地执行序列化/反序列化过程？如果是,那么它们的替代品是什么？
2. 数据集是否太小,以至于无法超过运行spark的基础JVM的开销成本？

谢谢你的期待.非常感激

Answer 1

因为:

• Apache Spark是一个复杂的框架,旨在将处理分布在数百个节点上,同时确保正确性和容错性.每种属性都有很高的成本.
• 因为纯粹的内存内核处理(Pandas)比磁盘和网络(甚至是本地)I/O(Spark)快几个数量级.
• 因为并行性(和分布式处理)会增加显着的开销,即使具有最佳(令人尴尬的并行工作负载)也不能保证任何性能改进.
• 因为本地模式不是为性能而设计的.它用于测试.
• 最后但同样重要的是 - 在393MB上运行的2个核心不足以看到任何性能改进,单个节点不提供任何分发机会
• 还有Spark:核心数量不一致的性能数量,为什么pyspark在查找列的最大值时要慢得多？,为什么我的星火跑的比纯Python慢？性能比较

你可以这样长时间继续...