我知道它利用pickle并跨节点运送东西并保存在内存中等等.令我困惑的是为什么在pyspark中使用它的语法工作.
def main():
sc = SparkContext()
someValue = rand()
V = sc.broadcast(someValue)
A = sc.parallelize().map(worker)
def worker(element):
element *= V.value
为什么上面的代码没有得到"V"没有定义的投诉？我在pyspark中搜索了与广播相关的源代码,但没有得到任何线索.