基于 S3 的文件系统只能请求文件的一部分

Question

我在 s3 中存储大型数据集，但在集群中的给定计算机上，我的程序只需要读取一小部分数据。

我首先尝试了 s3fs，但它首先下载整个文件，这需要很长时间。

是否有任何 s3 支持的文件系统使用 S3 API字节参数，以便内部读取（和搜索）命令仅读取文件的所需部分？

作为一个实际示例，如果我运行：

尾-c 1024巨大的文件_on_s3

只应请求最后 1kb（通过 bytes 参数），这意味着我应该很快得到结果。

（我不关心写回 S3；只从它读取）

Answer 1

我想大多数服务器都会支持 HTTP Range 标头。“字节”听起来像是 S3 内部独有的功能，而我所知道的每个现代网络服务器都支持 Range 标头。