我知道 Stackoverflow 上还有其他 非常 类似的问题，但这些问题要么没有得到解答，要么没有帮助我。与这些问题相反，我在这个问题中加入了更多的堆栈跟踪和日志文件信息。我希望这会有所帮助，尽管它使问题变得有点长和丑陋。对不起。

设置

我正在 Amazon EC2 上使用安装了 DSE (DataStax Enterprise) 版本 4.6 的实例运行 9 节点集群m3.xlarge。每个工作负载（Cassandra、搜索和分析）使用 3 个节点。DSE 4.6 捆绑 Spark 1.1 和 Cassandra 2.0。

问题

即使我没有运行任何查询，应用程序（Spark/Shark-Shell）也会在约 3 分钟后被删除。对小型数据集的查询只要在大约 3 分钟内完成即可成功运行。

我想分析更大的数据集。因此，我需要应用程序（外壳）在大约 3 分钟后不会被删除。

错误描述

在 Spark 或 Shark shell 上，空闲约 3 分钟后或执行（长时间运行）查询时，Spark 最终将中止并给出以下堆栈跟踪：

15/08/25 14:58:09 ERROR cluster.SparkDeploySchedulerBackend: Application has been killed. Reason: Master removed our application: FAILED
org.apache.spark.SparkException: Job aborted due to stage failure: Master removed our application: FAILED
    at org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGScheduler$$failJobAndIndependentStages(DAGScheduler.scala:1185)
    at …