春季长期投票

Question

我们有一个独特的案例,我们需要与外部API接口,这需要我们长时间轮询他们的端点以获得他们所谓的实时事件.

问题是我们可能有多达80,000人/设备在任何给定时间点击此端点,监听事件,每个设备/人1个连接.

当客户端从我们的Spring服务发出请求以对事件进行长轮询时,我们的服务随后会对外部API进行异步调用以对事件进行长轮询.外部API已定义最小长轮询超时可设置为180秒.

所以在这里我们遇到一个带队列的线程池不能工作的情况,因为如果我们有一个类似于(5分钟,10个最大值,10个队列)的线程池,那么10个线程可能会成为焦点,并且队列中的10个将无法获得机会,直到当前10个中的一个完成.

我们需要服务它或者失败它(我们将把负载平衡器等放在它后面),但是我们不希望在没有实际轮询的情况下让客户端挂起.

我们一直在研究如何使用DeferredResult,并从控制器返回.

一些调整的东西

@RequestMapping(value = "test/deferredResult", method = RequestMethod.GET)
    DeferredResult<ResponseEntity> testDeferredResult() {
        final DeferredResult<ResponseEntity> deferredResult = new DeferredResult<ResponseEntity>();
        CompletableFuture.supplyAsync(() -> testService.test()).whenCompleteAsync((result, throwable) -> deferredResult.setResult(result));
        return deferredResult;
    }

我在质疑我是否在正确的道路上,并且我是否应该为该CompletableFuture.supplyAsync()方法提供执行者和执行者(和配置)以最好地完成我们的任务.

我已经阅读了各种文章,帖子等,我想知道是否有人知道可能有助于我们的具体情况.

Answer 1

如果您使用阻塞 IO，您所描述的问题听起来并不像是可以很好解决的问题。所以您走在正确的道路上，因为 DeferredResult 允许您使用任何线程生成结果，而不会阻塞 servlet 容器线程。

关于调用上游的长池 API，您还需要 NIO 解决方案。如果您使用 Netty 客户端，则可以使用单个线程管理数千个套接字。当Netty中的NIO选择器检测到数据时，你会得到一个通道回调，并最终委托给Netty工作线程池中的一个线程，你可以调用deferredResult.setResult. 如果您不执行阻塞 IO，工作池的大小通常会根据 CPU 核心的数量进行调整，否则您可能需要更多线程。

仍然存在许多挑战。

• 您可能需要不止一台服务器（或网络接口），因为只有 65K 端口。
• Java 中的套接字没有写入超时，因此如果客户端拒绝从套接字读取数据，并且您发送的数据多于套接字缓冲区，您将阻塞 Netty 工作线程，然后一切都会停止（反向慢loris攻击）。这是大型异步设置中的一个典型问题，也是使用 Hystrix（由 Netflix 提供）等框架的原因之一。