s3fs在Amazon中挂载Amazon S3存储桶作为本地目录的稳定性如何?对于高需求的生产环境,它是推荐/稳定的吗?
有没有更好/类似的解决方案?
更新:使用EBS并通过NFS将其挂载到所有其他AMI会更好吗?
Redhat with Fuse 2.4.8
S3FS 1.59版
从AWS在线管理控制台,我可以浏览S3存储桶上的文件.
当我登录(ssh)到我的/ s3文件夹时,我无法访问它.
还有命令:"/ usr/bin/s3fs -o allow_other bucket/s3"
return:s3fs:无法访问MOUNTPOINT/s3:传输端点未连接
可能是什么原因?我该如何解决?该文件夹是否需要卸载然后重新安装?
谢谢 !
我正在尝试在Amazon EKS集群上运行我的Spark作业。我的Spark作业在每个数据节点/工作人员/执行者处需要一些静态数据(参考数据),并且该参考数据可在S3上获得。
有人可以帮助我找到一个干净且性能良好的解决方案,以将S3桶安装在吊舱上吗?
S3 API是一个选项,我正在将其用于输入记录和输出结果。但是“参考数据”是静态数据,因此我不想在我的spark作业的每次运行/执行中下载它。在首次运行时,作业将下载数据,而即将进行的作业将检查数据是否在本地可用,而无需再次下载。