标签: s3fs

我一直在尝试在 EC2 服务器上使用 s3fs，但它真的很慢。我花了最后 5 个小时上传了 100MB 的小文件。

有什么我可以做的来提高性能还是与 S3fs 有关？如果没有，我可以使用什么替代方案？

我们使用 IAM 角色来维护机器。我们现在计划将 s3 安装到我们的 ec2 实例并根据我们的需要进行处理。我们一直在使用 s3fs 工具进行安装。

但这似乎不适用于 IAM 角色。有什么方法可以让 s3fs 与 IAM 角色一起工作？有没有人做过这个？

提前致谢。

我想知道是否可以sftp在AWS. 我有 2 台服务器，我的每台服务器都用于s3fs-fuse将它们安装S3 bucket到安装点上。我的两个ec2实例都能够读/写它们的挂载点，并且从S3，我可以看到来自两个服务器的文件。

我正在寻找的是必须SFTP传输文件并Amazon S3用于存储我的文件。每天都会上传和下载文件。

https://github.com/s3fs-fuse/s3fs-fuse

至于我的下一步，我想知道如何对我的sftp服务器进行负载平衡，以便当用户连接到特定 IP 地址时，它会将它们重定向到我的一sftp台服务器。我看了看elastic load balancers，但它们似乎只允许特定端口。我也进行了调查HAProxy，但我不确定该解决方案的安全性。我必须考虑HIPAA合规性。负载平衡器必须是静态 IP 地址，因为我们的供应商不支持DNS hostnames.

立即将我的 Web 服务构建到 EC2 上，并在负载均衡器后面有一个实例。我当然会满足多种情况。

我最初的想法是将所有实例运行为哑从，并使用 S3 作为本地存储。为此，我已经开始使用 S3FS，但据我所见，它还没有真正准备好用于 Web 服务环境中的生产用途。写日志似乎很晚，如果不是从来没有。许多奇怪的缓存问题，即使没有缓存标志等。通常只是开发的噩梦。

但是，替代品看起来很少。一个显然是 EBS 卷，它可以附加到单个实例。分享这个的一些解决方案：-

• SMB 共享到其他实例。拥有一个 master 和其余的 slaves - obv 可能需要在此处内置多个 EBS 卷的冗余？
• Rsync 共享到其他盒子。这看起来很痛苦，考虑到它不是持久的并且会定期更新。可能没问题，如果在发生重大更改时强制更新脚本。

问题是……人们做什么？这似乎是一个完全常见的用例，但是在论坛甚至 SF 上找到的各种答案似乎表明没有一个简洁的答案......需要帮助！

我在 Ubuntu 9.10 x86 上使用s3fs 1.33。

我使用以下命令手动安装它：

sudo /usr/bin/s3fs mybucket /mnt/s3/mybucket -ouse_cache=/tmp

如何在启动时强制安装？

我想我必须写点东西给/etc/fstab. 但是什么？以及如何在不重新启动服务器的情况下对其进行测试？

我记得一年前尝试过 s3fs，尝试使用一些 S3 存储桶作为 FUSE 文件系统。我记得它相当滞后，尤其是与 git 操作结合使用时（一个不经意的系统架构师有一个像这样的奇怪要求）。

几个月后，我发现了 Lustre 和 AWS FSx for Lustre 以及 S3，据称它为其提供了非常相似的用例：

（aws fsx 常见问题解答）

Amazon FSx for Lustre 与 Amazon S3 原生配合使用，让您可以轻松使用高性能文件系统处理云数据集。当链接到 S3 存储桶时，FSx for Lustre 文件系统会透明地将 S3 对象呈现为文件，并允许您将结果写回 S3。

那么 Lustre 在性能方面与 S3 的 FUSE 文件系统（例如 s3fs（以及其他类似 goofys））相比如何呢？

谢谢 ：）

我在 s3 中存储大型数据集，但在集群中的给定计算机上，我的程序只需要读取一小部分数据。

我首先尝试了 s3fs，但它首先下载整个文件，这需要很长时间。

是否有任何 s3 支持的文件系统使用 S3 API字节参数，以便内部读取（和搜索）命令仅读取文件的所需部分？

作为一个实际示例，如果我运行：

尾-c 1024巨大的文件_on_s3

只应请求最后 1kb（通过 bytes 参数），这意味着我应该很快得到结果。

（我不关心写回 S3；只从它读取）

我正在寻找一种稳定的解决方案来使用rsync. 我必须将整个文件系统（超过 1Tb）同步到 Amazon S3。

我在哪里？

解决方案 1：我使用s3fs. 系统变得不稳定，交通真的很慢。这不是一个解决办法。

解决方案2：使用s3cmd sync命令。一切都以良好的速度进行（至少对于小于 2Gb 的文件夹）。当我尝试同步服务器上的所有文件系统（有一些例外）时，问题就出现了。该过程只是挂起。

任何提示？

我正在考虑在 AWS (EC2) 基础设施上设置一个共享文件系统/文件服务器，以提供复制和相当轻松的故障转移。这个文件系统可能会承载数百万个大小为几兆的文件。将从多个客户端 VM 访问（读/写）这些文件。如果主文件服务器出现故障，我希望客户端能够在不丢失任何文件的情况下故障转移到副本文件服务器（即我希望复制是实时的）。我查看了几个选项：

• 将 S3 与 s3fs 结合使用。我担心在对数千个文件执行操作时（例如，在复制/移动文件时），每个请求的延迟都会有问题。我还听到一些报道让我质疑 s3fs 的稳定性——不确定是否仍然如此。
• 在 EC2 实例上设置 NFS 服务器，使用 drbd 在两个实例之间复制块。缺点：
  1. 我过去曾遇到过 drbd 的可靠性问题，尤其是在高延迟链接上
  2. 如果主 NFS 服务器出现故障，它将关闭客户端，需要系统管理员干预和/或重新启动才能让它们重新连接到辅助服务器。没有自动故障转移。

有没有更好的解决方案？

我有一个 s3fs-fuse“设备”安装在/mnt/s3. 我想卸载它，以便我可以用mp_umask标志重新安装它，以便chroot正常工作。

命令应该是：

fusermount -u /mnt/s3

不幸的是，结果是：

fusermount: failed to unmount /mnt/s3: Device or resource busy

那没有帮助。不应该这么难！