为pyspark运行nosetests

kar*_*son 5 python nose nosetests apache-spark

如何使用nosePython编写的Apache Spark应用程序运行单元测试?

随着nose人们会通常只是调用命令

nosetests
Run Code Online (Sandbox Code Playgroud)

testsPython包的目录中运行测试.需要使用spark-submit命令而不是通常的Python可执行文件运行Pyspark脚本以启用pyspark-module 的导入.我将如何结合nosetests使用pyspark来运行我的星火应用测试?

Hol*_*den 4

如果有帮助,我们使用nosetest来测试sparkling pandas。我们在 utils 文件中做了一些魔法,将 pyspark 添加到基于 SPARK_HOME shell 环境变量的路径中。

  • @karlson:也许你可以在要点或其他内容中举一个例子? (2认同)