带有updateStateByKey问题的Spark 24X7流式传输

Question

我正在运行一个24/7的火花流和使用updateStateByKey是可以24/7运行火花流？如果是,则updateStateByKey不会变大,如何处理它？我们是否必须在24/7运行时定期重置/删除updateStateByKey,如果没有重置方式和时间？或Spark以分布式方式处理？如何动态增加内存/存储空间.

当updateStateByKey增长时,我得到以下错误

Array out of bound exception

Exception while deleting local spark dir: /var/folders/3j/9hjkw0890sx_qg9yvzlvg64cf5626b/T/spark-local-20141026101251-cfb4
java.io.IOException: Failed to delete: /var/folders/3j/9hjkw0890sx_qg9yvzlvg64cf5626b/T/spark-local-20141026101251-cfb4

如何处理这个..请指出我是否有任何文件？我完全陷入困境,非常感谢任何帮助..感谢您的时间

Answer 1

使用Java中的Optional.absent()和Scala中的None来删除键.可以在http://blog.cloudera.com/blog/2014/11/how-to-do-near-real-time-sessionization-with-spark-streaming-and-apache-hadoop/找到工作示例.