Dav*_*542 4 c++ google-chrome rust emscripten webassembly
为了便于讨论,假设浏览器允许WebAssembly 应用程序使用4GB 内存。忽略压缩和其他数据存储考虑因素,如果用户有一个 3GB 的本地 csv 文件,我们可以使用 WebAssembly(当然也可以是 JavaScript)完全在内存中查询该数据。例如,如果用户的数据具有以下格式:
| ID | 国家 | 数量 |
|---|---|---|
| 1 | 我们 | 12 |
| 2 | 国标 | 11 |
| 3 | 德 | 7 |
然后,在几行代码中,我们可以执行一个基本算法来过滤ID=2,即 的 SQL 等效项SELECT * FROM table WHERE id=2。
现在,我的问题是,是否有可能在任何浏览器中(并且可能使用实验标志和/或选择某些用户首选项),以便可以对不适合内存的文件进行查询,即使正确压缩也是如此。例如,在这篇博文中,加载并查询了约 500GB 的文件。我知道500GB的数据并没有完全加载到内存中,并且可能存在面向列的数据结构,因此只需要读取某些列,但无论哪种方式,操作系统都可以访问文件系统,因此文件比可以使用可用内存。
是否可以在 WebAssembly 浏览器应用程序中以任何方式执行此操作?如果是这样,如何完成的概要是什么?我知道这个问题可能需要一些研究,因此当它可以获得赏金时,我可以为其添加 500 点赏金以鼓励回答。(请注意,使用的底层语言是 C++-compiled-to-wasm,但我认为这对于这个问题来说并不重要。)
我想一种可能性可能是这样的:https://rreverser.com/web assembly- shell-with-a-real-filesystem-access-in-a-browser / 。
通过研究文件 API,我们发现在读取文件时,浏览器总是会处理一个Blob. 这给人的印象是所有文件都被浏览器提取到 RAM 中。还有Blob一个.stream()函数返回一个ReadableStream流式传输完全相同的Blob.
事实证明(至少在Chrome),处理的Blob是虚拟的,并且底层文件在请求之前不会加载。文件对象切片和实例化读取器都不会加载整个文件:
file.slice(file.size - 100)
(await reader.read()).value.slice(0, 100)
Run Code Online (Sandbox Code Playgroud)
该示例让您选择一个文件广告将显示最后 100 个字符(使用.slice())和前 100 个字符ReadableStream(请注意,流函数没有seek功能)
我已经测试过高达 10GB(.csv我现有的最大容量),并且浏览器不会消耗任何 RAM
这回答了问题的第一部分。通过在不消耗 RAM 的情况下流式传输(或执行分块访问)文件的功能,您可以使用任意大的文件并搜索内容(二分搜索或表扫描)。
Rust使用时stdweb没有任何.read()功能(因此无法传输内容)。但File确实具有.slice()对底层 blob 进行切片的功能(与 javascript 中相同)。这是一个最小的工作示例:
file.slice(file.size - 100)
(await reader.read()).value.slice(0, 100)
Run Code Online (Sandbox Code Playgroud)
#[macro_use]
extern crate stdweb;
use stdweb::js_export;
use std::convert::From;
use stdweb::web::IBlob;
use stdweb::web::File;
use stdweb::web::FileReader;
use stdweb::web::FileReaderResult;
#[js_export]
fn read_file(file: File) {
let blob = file.slice(..2048);
let len = stdweb::Number::from(blob.len() as f64);
js! {
var _len = @{len};
console.log("length=" + _len);
var _blob = @{blob};
console.log(_blob);
}
}
fn main() {
}
Run Code Online (Sandbox Code Playgroud)
该.slice()函数的行为与 javascript 中相同(整个文件未加载到 RAM 中),因此您可以在 WASM 中加载文件块并执行搜索。
请注意,内部执行的用途stdweb的实现:slice()slice_blob()
js! (
return @{reference}.slice(@{start}, @{end}, @{content_type});
).try_into().unwrap()
Run Code Online (Sandbox Code Playgroud)
正如你所看到的,它在底层使用了 javascript,所以这里没有优化。
恕我直言,文件读取实现更加有效,javascript因为:
stdweb::FilejavascriptAPI在底层使用 raw (因此速度并不快)stdweb::File与对应的功能相比,功能较少javascript(缺乏流媒体和其他功能)。那么搜索算法确实可以/应该在 WASM 中实现。该算法可以直接处理一个Blob待处理的chunk()。
| 归档时间: |
|
| 查看次数: |
1505 次 |
| 最近记录: |