我有一个Scala数据处理工具失败,但有java.lang.OutOfMemoryError异常.该工具需要对大型数据文件(我正在处理的文件超过700MB)进行一次传递,因此如果将整个文件存储在内存中会很方便.
我使用"scala"运行器从命令行或Bash脚本运行该工具.如何为此增加JVM堆大小？我试过传球-Xmx1024m,但它不承认这个论点.我正在使用Scala 2.8.0(r18678)的夜间版本.
如何使用Scala Stream读取大型CSV文件(> 1 Gb)？你有代码示例吗？或者您是否会使用不同的方式来读取大型CSV文件而不先将其加载到内存中？