小编Mic*_*tin的帖子

Java Streams - 缓冲巨大的流

我试图将多个由大量数据支持的流合并为一个,然后缓冲它们。我可以毫无问题地将这些流折叠成一个项目流。但是,当我尝试缓冲/分块流时,它会尝试完全缓冲第一个流,这会立即填满我的内存。

我花了一段时间将问题缩小到最小测试用例,但下面有一些代码。

我可以重构一些东西,这样我就不会遇到这个问题,但是在不理解为什么会爆炸的情况下,我觉得使用流只是一个定时炸弹。

我从Java 8 Streams 上的 Buffer Operator那里获得了缓冲的灵感。

import java.util.*;
import java.util.stream.LongStream;
import java.util.stream.Stream;
import java.util.stream.StreamSupport;

public class BreakStreams
{

   //@see https://stackoverflow.com/questions/47842871/buffer-operator-on-java-8-streams
   /**
    * Batch a stream into chunks
    */
   public static <T> Stream<List<T>> buffer(Stream<T> stream, final long count)
   {
      final Iterator<T> streamIterator = stream.iterator();

      return StreamSupport.stream(Spliterators.spliteratorUnknownSize(new Iterator<List<T>>()
      {
         @Override public boolean hasNext()
         {
            return streamIterator.hasNext();
         }

         @Override public List<T> next()
         {
            List<T> intermediate = new ArrayList<>();
            for (long v = 0; v < count …
Run Code Online (Sandbox Code Playgroud)

java java-stream

5
推荐指数
1
解决办法
234
查看次数

标签 统计

java ×1

java-stream ×1