Firebase Firestore 模拟器批量导入速度缓慢

Wil*_*ley 5 bulk-load firebase firebase-tools google-cloud-firestore

在处理批量数据时,Firebase 的本地Firestore 模拟器似乎相当慢。

我正在尝试模拟约 5,000,000 个文档的生产批量导入,但在几千条记录之后,服务器不堪重负,速度减慢至每秒 5 条记录左右。

关于事务和批量写入的主题,firebase 说......

注意:对于批量数据输入,请使用具有并行单独写入的服务器客户端库。批量写入的性能优于串行写入,但不优于并行写入。您应该使用服务器客户端库进行批量数据操作,而不是移动/网络 SDK。

这对我来说意味着我不应该使用移动/网络 SDK,而应该确保使用服务器端 SDK/API 进行导入。

我已经在使用node.js服务器客户端库

  const batch = firestore.batch();

  for (const record of records) {
    batch.set(
      firestore.collection(collection).doc(record.key),
      record,
    );
  }
  await batch.commit();
Run Code Online (Sandbox Code Playgroud)

...这个问题让我认为本地模拟器(或一般的 firestore)无法跟上高负载。