在 MinIO 存储上安装 DVC

Question

有人在 MinIO 存储上安装 DVC 吗？

我已阅读文档，但对我来说并不是很清楚。

我应该使用哪个命令来设置具有此入口参数的 MinIO 存储：

存储网址： https: //minio.mysite.com/minio/bucket-name/ 登录名：my_login 密码：my_password

Answer 1

安装

我通常将它用作Python包，在这种情况下你需要安装：

pip install "dvc[s3]"

设置远程

默认情况下，DVC 支持 AWS S3 存储并且工作正常。
它还支持“S3 兼容存储”，尤其是 MinIO。在本例中，您有一个存储桶- MinIO 服务器上存储实际数据的目录（类似于 AWS 存储桶）。DVC 使用 AWS CLI 向 AWS 进行身份验证，如果是 MinIO，您需要将凭证传递给dvc（而不是传递给minio包）。

将 MinIO 设置为 DVC 遥控器的命令：

# setup default remote (change "bucket-name" to your minio backet name)
dvc remote add -d minio s3://bucket-name -f

# add information about storage url (where "https://minio.mysite.com" is your MinIO url)
dvc remote modify minio endpointurl https://minio.mysite.com

#  add MinIO credentials (e.g. from env. variables)
dvc remote modify minio access_key_id my_login
dvc remote modify minio secret_access_key my_password

如果您从旧的远程移动，请使用以下命令移动数据：

设置之前（将旧的远程缓存下载到本地计算机 - 请注意，这可能需要很长时间）：

dvc pull -r <old_remote_name> --all-commits --all-tags --all-branches

设置后（将所有本地缓存​​数据上传到新的远程）：

dvc push -r <new_remote_name> --all-commits --all-tags --all-branches