无盘服务器的存储选项

Question

我正在尝试构建一个在几个高CPU无盘实例上运行的神经网络模拟.我打算使用持久性磁盘来存储我的模拟代码和训练数据,并将它们安装在所有服务器实例上.它基本上是一种减少任务的地图(几个节点处理相同的训练数据,所有节点的结果需要收集到一个结果文件).

我现在唯一的问题是,我有什么选择(永久)保存不同服务器的模拟结果(在模拟过程中的某些点或最后一次).理想情况下,我很乐意将它们写入安装在所有服务器上的单个永久磁盘,但这是不可能的,因为我只能将它只读装载到多个服务器上.

将所有服务器的所有模拟结果收集回一个永久磁盘的最聪明(也是最便宜)的方法是什么？

Answer 1

Google云端存储是将信息永久存储在Google Cloud中的绝佳方式.您需要做的就是为您的项目启用该产品,并且您将能够直接从Compute Engine虚拟机访问云存储.如果使用"storage-rw"服务帐户创建实例,则访问更加容易,因为您可以使用虚拟机中内置的gsutil命令,而无需进行任何显式授权.

更具体地说,转到Google云端控制台,选择您要使用计算引擎和云存储的项目,并确保这两项服务都已启用.然后在创建虚拟机时使用"storage-rw"服务帐户范围.如果使用gcutil创建VM,只需添加--storage_account_scope = storage-rw(如果您使用Cloud Console启动VM,还可以通过直观的方式设置服务帐户范围).虚拟机启动并运行后,您可以自由使用gsutil命令,而无需担心执行交互式登录或OAuth步骤.您还可以通过将任何所需的gsutil请求集成到您的应用程序中来编写您的用法(gsutil也可以在启动脚本中使用).

有关GCE服务帐户功能的更多背景信息,请点击此处.