TITAN- 并行查询 - org.apache.tinkerpop.gremlin.driver.Client.submit 处的并发超时异常

Question

作为容量和性能测试的一部分，我尝试使用 java 线程并行执行多个 gremlin 请求（图形遍历）。它在较少数量的线程中工作得很好。

当我增加线程数（例如 500）时，出现以下错误

线程“Thread-34”中出现异常 java.lang.RuntimeException：java.lang.RuntimeException：java.util.concurrent.TimeoutException：等待可用主机超时。在 org.apache.tinkerpop.gremlin.driver.Client.submit(Client.java:146) 在 com.tests.java.titan.Vertices.exists(Vertices.java:37) 在 com.tests.java.titan.Complex com.tests.java.perfTests.TitanThread.run(ParallelGraphTraversal.java:112) 处的.searchNodesRelatedByRelation(Complex.java:110) 引起：java.lang.RuntimeException: java.util.concurrent.TimeoutException: 等待超时可用的主机。在 org.apache.tinkerpop.gremlin.driver.Client.submitAsync(Client.java:194) 在 org.apache.tinkerpop.gremlin.driver.Client.submitAsync(Client.java:174) 在 org.apache.tinkerpop.gremlin .driver.Client.submit(Client.java:144) ... 3 个以上

我尝试将 threadPoolWorker 的值从 1 增加到 2，将 gremlinPool 从 8 增加到 16（在文件 gremlin-server.yaml 中）。但我没有注意到任何区别。

有人遇到过这个问题吗？您能否告诉我最大同时连接数是否有限制？

我们的环境：CDH 5.7.1、Titan 1.1.0-SNAPSHOT、Solr 4.10.3、HBase 1.2.0、titan-tp3-driver，用于创建与 gremlin 服务器的远程连接并进行查询

Answer 1

服务器上的设置gremlinPool往往受到限制，Runtime.availableProcessors()因此使数字大于该值通常没有意义。服务器支持的请求数量在某种程度上取决于您执行的遍历类型。我可以想象这样的情况：您发送一系列较长的运行请求，这些请求可能会占用许多gremlinPool线程，从而减慢服务器本身的脚本处理能力。Gremlin 服务器可能会继续接受请求，将它们存储在队列中以便在请求到达时进行处理，但处理时间会更长。

这种情况本身不应强制出现此错误，但驱动程序的默认设置可能不足以满足您尝试执行的操作。该驱动程序具有大量设置来控制到服务器的消息流。如果特定主机的驱动程序状态超出这些设置的范围，它将忽略该主机并寻找另一个主机。例如，如果connectionPool.maxInProcessPerConnection超出了并且无法添加其他连接，因为该连接也已达到最大值，则在驱动程序选择下一个要向其发送消息的主机的过程中，该主机将被忽略。这样，特定主机就不会因为客户端的请求而过载。

在您的情况下，我假设您的配置中没有其他主机，因此由于没有其他地方可以发送这些请求，因此驱动程序会尝试等待连接来释放自身。如果我们考虑我们的示例，那么它会等待处理中请求的数量低于connectionPool.maxInProcessPerConnection。司机要等多久才能发生这种情况？它会等待多久connectionPool.maxWaitForConnection。如果超过该时间，您将收到您所看到的错误消息。