DoFn 中的 HTTP 客户端

Question

我想通过 DoFn 向在 Dataflow 上运行的 Apache Beam Pipeline 发出 POST 请求。

为此，我创建了一个客户端，它实例化在 PoolingHttpClientConnectionManager 上配置的 HttpClosableClient。

但是，我为我处理的每个元素实例化一个客户端。

我如何设置一个由我的所有元素使用的持久客户端？

还有其他我应该使用的并行和高速 HTTP 请求类吗？

Answer 1

您可以将客户端放入成员变量中，使用该@Setup方法打开它，然后@Teardown关闭它。Beam 中几乎所有 IO 的实现都使用这种模式，例如参见JdbcIO。