如何在 Deno 中下载大文件？

Question

我正在尝试下载一个 10GB 的文件，但只有 4GB 被保存到磁盘，并且内存增长了很多。

const res = await fetch('https://speed.hetzner.de/10GB.bin');
const file = await Deno.open('./10gb.bin', { create: true, write: true })

const ab = new Uint8Array(await res.arrayBuffer())
await Deno.writeAll(file, ab)

Answer 1

您正在缓冲响应，这就是内存增长的原因。

您可以遍历，res.body因为它当前是在每个块上ReadableStream实现Symbol.asyncIterator和使用的Deno.writeAll。

for await(const chunk of res.body) {
    await Deno.writeAll(file, chunk);
}
file.close();

您还可以使用fromStreamReader from std/io( >= std@v0.60.0) 转换res.body为Reader可用于Deno.copy

import { fromStreamReader } from "https://deno.land/std@v0.60.0/io/streams.ts";
const res = await fetch('https://speed.hetzner.de/10GB.bin');
const file = await Deno.open('./10gb.bin', { create: true, write: true })

const reader = fromStreamReader(res.body!.getReader());
await Deno.copy(reader, file);
file.close();

关于为什么它停在 4GB 我不确定，但它可能与ArrayBuffer/UInt8Array限制有关，因为 4GB 大约是 2³² 字节，这是 的限制TypedArray，至少在大多数运行时。