使用 WebAssembly 在浏览器中查询大型数据集

Dav*_*542 4 c++ google-chrome rust emscripten webassembly

为了便于讨论,假设浏览器允许WebAssembly 应用程序使用4GB 内存。忽略压缩和其他数据存储考虑因素,如果用户有一个 3GB 的本地 csv 文件,我们可以使用 WebAssembly(当然也可以是 JavaScript)完全在内存中查询该数据。例如,如果用户的数据具有以下格式:

ID 国家 数量
1 我们 12
2 国标 11
3 德 7

然后,在几行代码中,我们可以执行一个基本算法来过滤ID=2,即 的 SQL 等效项SELECT * FROM table WHERE id=2。

现在,我的问题是,是否有可能在任何浏览器中(并且可能使用实验标志和/或选择某些用户首选项),以便可以对不适合内存的文件进行查询,即使正确压缩也是如此。例如,在这篇博文中,加载并查询了约 500GB 的文件。我知道500GB的数据并没有完全加载到内存中,并且可能存在面向列的数据结构,因此只需要读取某些列,但无论哪种方式,操作系统都可以访问文件系统,因此文件比可以使用可用内存。

是否可以在 WebAssembly 浏览器应用程序中以任何方式执行此操作?如果是这样,如何完成的概要是什么?我知道这个问题可能需要一些研究,因此当它可以获得赏金时,我可以为其添加 500 点赏金以鼓励回答。(请注意,使用的底层语言是 C++-compiled-to-wasm,但我认为这对于这个问题来说并不重要。)

我想一种可能性可能是这样的:https://rreverser.com/web assembly- shell-with-a-real-filesystem-access-in-a-browser / 。

New*_*bie 9

JavaScript 文件 API

通过研究文件 API,我们发现在读取文件时,浏览器总是会处理一个Blob. 这给人的印象是所有文件都被浏览器提取到 RAM 中。还有Blob一个.stream()函数返回一个ReadableStream流式传输完全相同的Blob.

事实证明(至少在Chrome),处理的Blob是虚拟的,并且底层文件在请求之前不会加载。文件对象切片和实例化读取器都不会加载整个文件:

file.slice(file.size - 100)
(await reader.read()).value.slice(0, 100)
Run Code Online (Sandbox Code Playgroud)

这是一个测试沙箱 和源代码

该示例让您选择一个文件广告将显示最后 100 个字符(使用.slice())和前 100 个字符ReadableStream(请注意,流函数没有seek功能)

我已经测试过高达 10GB(.csv我现有的最大容量),并且浏览器不会消耗任何 RAM

这回答了问题的第一部分。通过在不消耗 RAM 的情况下流式传输(或执行分块访问)文件的功能,您可以使用任意大的文件并搜索内容(二分搜索或表扫描)。

网络组装

Rust使用时stdweb没有任何.read()功能(因此无法传输内容)。但File确实具有.slice()对底层 blob 进行切片的功能(与 javascript 中相同)。这是一个最小的工作示例:

file.slice(file.size - 100)
(await reader.read()).value.slice(0, 100)
Run Code Online (Sandbox Code Playgroud)
#[macro_use]
extern crate stdweb;

use stdweb::js_export;

use std::convert::From;
use stdweb::web::IBlob;
use stdweb::web::File;
use stdweb::web::FileReader;
use stdweb::web::FileReaderResult;

#[js_export]
fn read_file(file: File) {
    let blob = file.slice(..2048);
    let len = stdweb::Number::from(blob.len() as f64);

    js! {
        var _len = @{len};
        console.log("length=" + _len);
        var _blob = @{blob};
        console.log(_blob);
    }
}

fn main() {
}
Run Code Online (Sandbox Code Playgroud)

该.slice()函数的行为与 javascript 中相同(整个文件未加载到 RAM 中),因此您可以在 WASM 中加载文件块并执行搜索。

请注意,内部执行的用途stdweb的实现:slice()slice_blob()

js! (
    return @{reference}.slice(@{start}, @{end}, @{content_type});
).try_into().unwrap()
Run Code Online (Sandbox Code Playgroud)

正如你所看到的,它在底层使用了 javascript,所以这里没有优化。

结论

恕我直言,文件读取实现更加有效,javascript因为:

  • stdweb::FilejavascriptAPI在底层使用 raw (因此速度并不快)
  • stdweb::File与对应的功能相比,功能较少javascript(缺乏流媒体和其他功能)。

那么搜索算法确实可以/应该在 WASM 中实现。该算法可以直接处理一个Blob待处理的chunk()。