dsbulk 卸载问题

Question

我在使用 dsbulk 卸载时收到以下消息。我不明白这意味着什么

[s0|347101951|0] 发送取消请求时出错。这并不重要（请求最终会在服务器端超时）。（心跳异常：空）

不发送心跳，因为前一个心跳仍在进行中。检查advanced.heartbeat.interval是否不低于advanced.heartbeat.timeout。

谢谢

Answer 1

“发送取消请求时出错”是典型的连续分页查询。协调员似乎由于某种原因遇到了麻烦，这就是为什么您也会看到心跳失败的原因。Dsbulk 可能给集群带来了过多的负载。

您没有具体提到 dsbulk 的版本，但假设 1.4+ 我建议尝试以下操作（单独或组合）：

1. 禁用连续分页dsbulk.executor.continuousPaging.enabled = false（这可能会减慢 dsbulk 的速度）。

2. 使用较小的页面大小，例如 1000 行：

   1. 如果不使用连续分页：datastax-java-driver.basic.request.page-size = 1000.
   2. 如果使用连续分页：datastax-java-driver.advanced.continuous-paging.page-size = 1000.

3. 限制 dsbulk 以减少集群负载

   1. 通过限制并发请求的数量来“软”限制，例如 128：
      1. DSBulk < 1.6：dsbulk.executor.maxInFlight = 128.
      2. DSBulk >= 1.6: dsbulk.engine.maxConcurrentQueries = 128.
   2. 或者通过限制每秒请求数来“硬”限制，例如 500: dsbulk.executor.maxPerSecond = 500。