Wil*_*ley 5 bulk-load firebase firebase-tools google-cloud-firestore
在处理批量数据时,Firebase 的本地Firestore 模拟器似乎相当慢。
我正在尝试模拟约 5,000,000 个文档的生产批量导入,但在几千条记录之后,服务器不堪重负,速度减慢至每秒 5 条记录左右。
关于事务和批量写入的主题,firebase 说......
注意:对于批量数据输入,请使用具有并行单独写入的服务器客户端库。批量写入的性能优于串行写入,但不优于并行写入。您应该使用服务器客户端库进行批量数据操作,而不是移动/网络 SDK。
这对我来说意味着我不应该使用移动/网络 SDK,而应该确保使用服务器端 SDK/API 进行导入。
const batch = firestore.batch();
for (const record of records) {
batch.set(
firestore.collection(collection).doc(record.key),
record,
);
}
await batch.commit();
Run Code Online (Sandbox Code Playgroud)
...这个问题让我认为本地模拟器(或一般的 firestore)无法跟上高负载。
| 归档时间: |
|
| 查看次数: |
547 次 |
| 最近记录: |