将数据从firestore导入bigQuery

Question

我已将我的帐户升级为大火,这是先决条件之一.我试图将FAQ Link BigQuery 跟踪到Firebase.仍然无法从firestore或firebase-realtimeDatabase中看到任何数据到bigQuery中.

我在bigQuery中看到了创建数据集的选项.但是在创建数据集之后,它允许我从[文件],[云存储],[bigQuery],[google Drive]上传数据.但不是firestore数据库.

Plesae帮助.

Answer 1

Firestore现在允许导入/导出数据.数据将导出到云存储桶,然后可以将其导入Big Query.以下是一些可能有用的链接:

• https://firebase.google.com/docs/firestore/manage-data/export-import
• https://cloud.google.com/bigquery/docs/loading-data-cloud-datastore(Firestore使用与数据存储相同的格式进行导入/导出)

**编辑:现在可以从Firestore导入BigQuery的文档https://cloud.google.com/bigquery/docs/loading-data-cloud-firestore

Answer 2

伙计们有一个将数据导入bigquery的例子

https://github.com/firebase/functions-samples/tree/master/bigquery-import

运气..

Answer 3

万一有人需要它。我最终自动化了脚本，因为当前的导出数据选项只允许流数据并保留 30 天。

导出数据

gcloud beta firestore export --collection-ids=users gs://mybucket/users

将备份加载到 bq

bq load --source_format=DATASTORE_BACKUP mydataset.users gs://gs://mybucket/users/all_namespaces/kind_users/all_namespaces_kind_users.export_metadata

Answer 4

现在，您可以使用 Firebase 扩展将数据从 Cloud Firestore 导出到 BigQuery。请参阅： https: //firebase.google.com/products/extensions/firestore-bigquery-export

另请参阅 David关于如何导入/导出数据的回答。

下面过时的答案：

没有内置支持将数据从 Firebase 实时数据库或 Cloud Firestore 导入 BigQuery。

目前，如果您想导入数据，则必须编写代码来执行此操作。