我们将 Google Cloud Datastore 用于我们的 Google App Engine (GAE) 应用程序。在我们的项目改造期间,我们希望将我们的数据库从 Datastore 迁移到 Google Cloud SQL。
我们在 Datastore 中有大约 1 TB 的数据,不包括索引。
如何从 Datastore 迁移到 Cloud SQL,是否有可用的现有开源解决方案。
我检查了以下一个 https://cloud.google.com/datastore/docs/export-import-entities,这对在数据存储和 sql 之间迁移数据没有帮助
谢谢
google-cloud-sql google-cloud-datastore google-cloud-platform
我正在运行以下命令来导出我的Firestore集合。
gcloud alpha firestore export gs://[...] --collection-ids='[...]'
Run Code Online (Sandbox Code Playgroud)
导出的结果仅包含根级别的文档,但不包含任何文档下的任何子集合。
如何导出收藏集中的所有子收藏?
我正在追踪来自Google的这份文件。
我们通过气流使用阿帕奇光束。默认 GCS 帐户是使用环境变量 - GOOGLE_APPLICATION_CREDENTIALS 设置的。我们不想更改环境变量,因为它可能会影响当时运行的其他进程。我找不到以编程方式更改 Google Cloud Dataflow 服务帐户的方法。我们按照以下方式创建管道 p = beam.Pipeline(argv=self.conf)
是否有通过 argv 或选项的任何选项,我可以在其中提到 gcs 凭证文件的位置?搜索了文档,但没有找到太多信息。
python google-cloud-platform google-cloud-dataflow airflow apache-beam