小编c21*_*c21的帖子

我试图使用Spark来处理简单的图形问题.我在Spark源文件夹中找到了一个示例程序:transitive_closure.py,它在一个图形中计算传递闭包,不超过200个边和顶点.但是在我自己的笔记本电脑中,它运行超过10分钟并且不会终止.我使用的命令行是:spark-submit transitive_closure.py.

我想知道为什么即使计算这么小的传递闭包结果,火花也是如此之慢？这是常见的情况吗？有没有我想念的配置？

该程序如下所示,可以在他们网站的spark install文件夹中找到.

from __future__ import print_function

import sys
from random import Random

from pyspark import SparkContext

numEdges = 200
numVertices = 100
rand = Random(42)


def generateGraph():
    edges = set()
    while len(edges) < numEdges:
        src = rand.randrange(0, numEdges)
        dst = rand.randrange(0, numEdges)
        if src != dst:
            edges.add((src, dst))
    return edges


if __name__ == "__main__":
    """
    Usage: transitive_closure [partitions]
    """
    sc = SparkContext(appName="PythonTransitiveClosure")
    partitions = int(sys.argv[1]) if len(sys.argv) > 1 else 2
    tc = sc.parallelize(generateGraph(), partitions).cache()

    # Linear …

在lambda演算中,如果一个术语具有正常形式,则正常的降阶策略将始终产生它.

我只是想知道如何严格证明上述命题？

我想知道我可以在C库中调用多少函数,例如Gnu C库？或者近似？