Spark非常大的任务警告

Car*_*bon 5 apache-spark-sql

我在 SparkSQL 中经常收到这样的警告。这个警告告诉我什么,我需要关心这个吗?

WARN TaskSetManager: Stage 1186 contains a task of very large size (4691 KB). The maximum recommended task size is 100 KB.
Run Code Online (Sandbox Code Playgroud)

Ayu*_*ari -12

此链接将帮助您:- Spark using python:如何解析阶段 x 包含非常大的任务 (xxx KB)。建议的最大任务大小为 100 KB

在此处提出任何问题之前,请先上网浏览一下