小编use*_*292的帖子

读取和处理25GB的大文本文件

我必须阅读25 GB的大文本文件,并且需要在15-20分钟内处理此文件.此文件将具有多个页眉和页脚部分.

我尝试使用CSplit根据标题分割这个文件,但它需要大约24到25分钟才能根据标题将其拆分为多个文件,这根本不可接受.

我试过连续读取和写入使用BufferReaderBufferWiter沿FileReaderFileWriter.这需要超过27分钟.再说一遍,这是不可接受的.

我尝试了另一种方法,比如获取每个头的起始索引,然后运行多个线程,通过使用从特定位置读取文件RandomAccessFile.但是没有运气.

我怎样才能达到我的要求?

可能重复:

用Java读取大文件

java file-io file large-files

10
推荐指数
2
解决办法
3万
查看次数

标签 统计

file ×1

file-io ×1

java ×1

large-files ×1