小编Rei*_*jay的帖子

美好的一天.

我正在运行一个用于解析一些日志文件的开发代码.如果我尝试解析较少的文件,我的代码将顺利运行.但是当我增加需要解析的日志文件的数量时,它将返回不同的错误,例如too many open files和Total size of serialized results of tasks is bigger than spark.driver.maxResultSize.

我试图增加spark.driver.maxResultSize但错误仍然存​​在.

你能否就如何解决这个问题给我任何想法？

谢谢.