Cassandra ::请求期间出现意外异常; channel = [id:0x7acf3f0c,L:/100.55.10.124:9042!R:/30.75.50.2:39263]

Question

我正在使用带有复制因子2的6节点集群的Cassandra 3.10.[请考虑IP已被屏蔽而非原始].

Datacenter: DC1
===========================================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address       Load       Tokens       Owns (effective)  Host ID                               Rack
UN  100.55.10.124  212.33 MiB  256          65.9%             8328123a-678c-4027-a136-06b3626ab017  rack1
UN  100.55.10.125  216.92 MiB  256          67.1%             af76123c-6880-43d6-bff8-b139731242bd  rack1
UN  100.55.10.126  216.94 MiB  256          67.0%             f541cdc1-aa2f-4a30-3612-5d4291421ec3  rack1
Datacenter: DC2
===========================================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address       Load       Tokens       Owns (effective)  Host ID                               Rack
UN  100.55.10.130  198.15 MiB  256          60.7%             332eb914-bf14-4d0d-9c38-47fc4b0952f1  rack2
UN  100.55.10.131  229.48 MiB  256          70.8%             cafc702f-83d4-479a-b117-ada75274e0ba  rack2
UN  100.55.10.132  223.14 MiB  256          68.5%             8a9c03ae-ed5a-4cb9-9540-0ca97a04640e  rack2

集群工作正常,但这些天我在系统日志中看到下面的"INFO"

INFO  [Native-Transport-Requests-3] 2017-04-19 03:21:19,684 Message.java:617 - Unexpected exception during request; channel = [id: 0x7acf3f0c, L:/100.55.10.124:9042 ! R:/30.75.50.2:39263]
io.netty.channel.unix.Errors$NativeIoException: syscall:read(...)() failed: Connection reset by peer
        at io.netty.channel.unix.FileDescriptor.readAddress(...)(Unknown Source) ~[netty-all-4.0.39.Final.jar:4.0.39.Final]

我试图分析这个问题,但还没有成功.

我已经看过围绕这个问题的JIRA问题,但是找不到任何有用的东西.
我也提到了一些stackoverflow链接无法找到任何结论.

• 请求期间发生意外异常
• 没有CPU使用的Cassandra超时
• /var/log/cassandra/system.log中的奇怪异常

我正在使用CQL v3.4.4.是否有人熟悉上述情况？

Answer 1

由于此请求显示“Native-Transport-Requests”，在这种情况下将请求检查“nodetool tpstasts”命令的输出。

如果您发现“Native-Transport-Requests”的阻塞计数很高，那么您计划增加 max_queued_native_transport_requests。

CQL 本机协议是 Cassandra 驱动程序与服务器通信的方式。这包括所有读取、写入、架构更改等。可用于处理传入请求的线程数量有限。

当所有线程都在使用时，某些请求会在队列中等待（待处理）。如果队列已满，某些请求将被静默拒绝（阻止）并且服务器永远不会回复。

https://support.datastax.com/hc/en-us/articles/360031470531-High-blocked-NTR-count-during-increased-workload-on-Cassandra-node