在java中读取大型CSV

Question

我想从CSV中读取大量数据,包含大约500,000行.我正在使用OpenCSV库.我的代码是这样的

    CsvToBean<User> csvConvertor = new CsvToBean<User>();
    List<User> list = null;
    try {
        list =csvConvertor.parse(strategy, new BufferedReader(new FileReader(filepath)));
    } catch (FileNotFoundException e) {
        e.printStackTrace();
    }

最多200,000条记录,数据被读入用户bean对象列表.但对于数据而言,我得到的不止于此

java.lang.OutOfMemoryError: Java heap space

我在"eclipse.ini"文件中有这个内存设置

-Xms256m
-Xmx1024m

我正在考虑将大文件拆分为单独文件并再次读取这些文件的解决方案,我认为这是一个很长的解决方案.

有没有其他方法,我可以通过它避免OutOfMemoryError异常.

Answer 1

逐行阅读

这样的事情

    CSVReader reader = new CSVReader(new FileReader("yourfile.csv"));
    String [] nextLine;
    while ((nextLine = reader.readNext()) != null) {
        // nextLine[] is an array of values from the line
        System.out.println(nextLine[0] + nextLine[1] + "etc...");
    }