Cassandra 节点卡在 Joining 状态

Question

我正在尝试使用 auto_bootstrap: true 选项将新节点添加到现有 Cassandra 3.11.1.0 集群。新节点完成了从其他节点流式传输数据、二级索引构建和主表压缩过程，但之后似乎陷入了 JOINING状态。节点中没有错误/警告system.log- 只有信息消息。

此外，在二级索引构建和压缩过程期间，节点上存在大量 CPU 负载，但现在没有了。所以看起来节点在引导过程中被卡住并且当前处于空闲状态。

# nodetool status
Datacenter: dc1
===============
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address         Load       Tokens       Owns    Host ID                               Rack
UN  XX.XX.XX.109  33.37 GiB  256          ?       xxxx-9f1c79171069  rack1
UN  XX.XX.XX.47   35.41 GiB  256          ?       xxxx-42531b89d462  rack1
UJ  XX.XX.XX.32   15.18 GiB  256          ?       xxxx-f5838fa433e4  rack1
UN  XX.XX.XX.98   20.65 GiB  256          ?       xxxx-add6ed64bcc2  rack1
UN  XX.XX.XX.21   33.02 GiB  256          ?       xxxx-660149bc0070  rack1
UN  XX.XX.XX.197  25.98 GiB  256          ?       xxxx-703bd5a1f2d4  rack1
UN  XX.XX.XX.151  21.9 GiB   256          ?       xxxx-867cb3b8bfca  rack1

nodetool compactionstats显示有一些压缩待处理，但我不知道是否有一些活动或者只是卡住了：

# nodetool compactionstats
pending tasks: 4
- keyspace_name.table_name: 4

nodetool netstats显示小/八卦消息的已完成请求的计数器正在增加：

# nodetool netstats
Mode: JOINING
Bootstrap xxxx-81b554ae3baf
    /XX.XX.XX.109
    /XX.XX.XX.47
    /XX.XX.XX.98
    /XX.XX.XX.151
    /XX.XX.XX.21
Read Repair Statistics:
Attempted: 0
Mismatch (Blocking): 0
Mismatch (Background): 0
Pool Name                    Active   Pending      Completed   Dropped
Large messages                  n/a         0              0         0
Small messages                  n/a         0         571777         0
Gossip messages                 n/a         0         199190         0

nodetool tpstats显示 CompactionExecutor、MigrationStage、GossipStage 池的已完成请求计数器正在增加：

# nodetool tpstats
Pool Name                         Active   Pending      Completed   Blocked  All time blocked
ReadStage                              0         0              0         0                 0
MiscStage                              0         0              0         0                 0
CompactionExecutor                     0         0            251         0                 0
MutationStage                          0         0         571599         0                 0
MemtableReclaimMemory                  0         0             98         0                 0
PendingRangeCalculator                 0         0              7         0                 0
GossipStage                            0         0         185695         0                 0
SecondaryIndexManagement               0         0              2         0                 0
HintsDispatcher                        0         0              0         0                 0
RequestResponseStage                   0         0              6         0                 0
ReadRepairStage                        0         0              0         0                 0
CounterMutationStage                   0         0              0         0                 0
MigrationStage                         0         0             14         0                 0
MemtablePostFlush                      0         0            148         0                 0
PerDiskMemtableFlushWriter_0           0         0             98         0                 0
ValidationExecutor                     0         0              0         0                 0
Sampler                                0         0              0         0                 0
MemtableFlushWriter                    0         0             98         0                 0
InternalResponseStage                  0         0             11         0                 0
ViewMutationStage                      0         0              0         0                 0
AntiEntropyStage                       0         0              0         0                 0
CacheCleanupExecutor                   0         0              0         0                 0

Message type           Dropped
READ                         0
RANGE_SLICE                  0
_TRACE                       0
HINT                         0
MUTATION                   124
COUNTER_MUTATION             0
BATCH_STORE                  0
BATCH_REMOVE                 0
REQUEST_RESPONSE             0
PAGED_RANGE                  0
READ_REPAIR                  0

所以看起来节点仍在从另一个节点接收一些数据并应用它，但我不知道如何检查进度以及我应该等待还是取消引导。我已经尝试重新引导该节点并遇到以下情况：节点长时间处于UJ状态（16 小时），有一些待处理的压缩，并且 99.9% 的 CPU 空闲。另外，我大约一个月前向集群添加了节点，没有任何问题 - 节点在 2-3 小时内加入并进入联合国状态。

也在nodetool cleanup该节点上的现有节点之一上运行，我在 system.log 中看到以下警告：

**WARN  [STREAM-IN-/XX.XX.XX.32:46814] NoSpamLogger.java:94 log Spinning trying to capture readers [BigTableReader(path='/var/lib/cassandra/data/keyspace_name/table_name-6750375affa011e7bdc709b3eb0d8941/mc-1117-big-Data.db'), BigTableReader(path='/var/lib/cassandra/data/keyspace_name/table_name-6750375affa011e7bdc709b3eb0d8941/mc-1070-big-Data.db'), ...]**

由于清理是本地过程，因此它不会在引导期间影响新节点。但我可能是错的。

任何帮助将不胜感激。

Answer 1

有时会发生这种情况。也许加入已经完成的八卦通信存在问题，或者另一个节点可能很快报告并DN中断了该过程。

发生这种情况时，您有几种选择：

1. 您始终可以停止该节点，擦除它，然后尝试再次加入它。
2. 如果您确定所有（或大部分）数据都在那里，您可以停止该节点，并在 的 cassandra.yaml 中添加一行auto_bootstrap: false。该节点将启动、加入集群并提供数据。对于此选项，通常最好在节点启动后运行修复。