用于批量插入的缓冲区数据

Question

每次在我的网站上发出请求时，有关该事件的一些数据都会记录到数据库（Yandex ClickHouse）中。如果批量插入至少 1000 条记录，ClickHouse 的工作速度会显着加快。对于每个请求，我都想将数据发送到另一台计算机，该计算机将存储数据，然后当缓冲区达到一定大小（例如 1000）时将其刷新到数据库。我正在考虑使用 RabbitMQ 进行消息传递/缓冲，但我我不确定这是不是正确的工具。有什么建议么？

Answer 1

缓冲表引擎直接为此目的而创建。很快，您将使用这种类型的引擎创建表并写入该表/从此表中读取。所有记录都将缓冲在 RAM 中，并根据设置自动刷新到源表。