Spring Batch - 如何在多个线程中读取一个大文件?

Gau*_*ini 5 spring multithreading file spring-batch

问题:读取大小> 10 MB的文件并使用Spring Batch将其加载到临时表中.我们如何在读取文件时保持状态,以便在失败时重新启动作业?

根据文档,FileItemReader不是线程安全的,如果我们尝试使其线程安全,我们最终会失去可重启性.所以基本问题是:

  1. 有没有办法以块的形式读取文件,每个线程都知道它需要读取哪个块?
  2. 如果我们使读取同步,那么在这种情况下需要进行哪些更改才能使作业重新启动?

如果有人遇到类似的问题或对其表现如何进行任何分析将有助于我们做出决定.

此外,任何指针或示例代码都受到赞赏.

art*_*tol 3

仅当您的线程同时执行不同的操作时,多线程才有用。例如,您可以让两个线程在不同的 CPU 上运行。或者一个线程可能正在等待网络消息,而另一个线程正在绘制屏幕。

但在您的情况下,两个线程都将等待来自同一设备的相同 IO,因此使用多个线程是没有意义的。

另请参阅这个问题通过多个线程读取文件