我正在尝试运行 bash 脚本来运行 Spark-submit 并运行 pyspark 脚本,但没有成功。我想使用“yarn log -applicationId”检查纱线日志。我的问题是如何找到合适的应用程序 ID?
以下是我得到的错误的一些部分
hadoop hadoop-yarn apache-spark pyspark
我有一个现有的 pyspark 数据框,约有 200 列。我有一个列名称列表(按正确的顺序和长度)。
如何在不使用 structtype 的情况下将列表应用于数据框?
python pyspark
pyspark ×2
apache-spark ×1
hadoop ×1
hadoop-yarn ×1
python ×1