小编BBl*_*ott的帖子

AssertionError:SparkContext._active_spark_context 不是 None

我创建一个对象,该对象在运行该__init__函数时从字典创建一个映射。这是在任何函数或类之外完成的。因此它会在导入期间加载模块时运行。

当我运行它时它工作正常,但是当我使用 SparkStreaming 运行它时,我收到如下所示的断言错误。它被扔到__init__类的函数中。

为什么只有在使用 Spark Streaming 时才会遇到此问题?如何解决?

File "some_file.py", line 58, in __init__
    some_map = F.create_map(*[F.lit(x) for x in chain(*some_dict.items())])
  File "some_file.py", line 58, in <listcomp>
    some_map = F.create_map(*[F.lit(x) for x in chain(*some_dict.items())])
  File "/databricks/spark/python/pyspark/sql/functions.py", line 139, in lit
    return col if isinstance(col, Column) else _invoke_function("lit", col)
  File "/databricks/spark/python/pyspark/sql/functions.py", line 85, in _invoke_function
    assert SparkContext._active_spark_context is not None
AssertionError
Run Code Online (Sandbox Code Playgroud)

python apache-spark pyspark

5
推荐指数
1
解决办法
1244
查看次数

标签 统计

apache-spark ×1

pyspark ×1

python ×1