Amazon EMR,Apache Spark 2.3,Apache Kafka,每天约10万条记录.
Apache Spark用于批量处理事件5分钟,每天一次工作节点死亡,AWS自动重新配置节点.在查看日志消息时,它看起来在节点中没有空间,但它们在那里有大约1Tb的存储空间.
在有人绰绰有余的情况下,是否有人存在存储空间问题？
我当时认为日志聚合无法将日志正确复制到s3存储桶,这应该由我看到的spark进程自动完成.
我应该提供哪些信息来帮助解决此问题？
先感谢您!
amazon-web-services amazon-emr apache-spark spark-streaming spark-structured-streaming