pet*_*ott 5 apache-flink flink-streaming
在我的应用程序中，我想丰富无限的事件流。流本身通过对 Id 进行散列来并行化。对于每个事件，可能会调用外部源（例如 REST、DB）。这个调用本质上是阻塞的。必须保持一个流分区内的事件顺序。
我的想法是创建一个 RichMapFunction，它设置连接，然后轮询每个事件的外部源。阻塞调用通常不需要很长时间，但在最坏的情况下，服务可能会关闭。
理论上，这是可行的，但我觉得这样做不太好，因为我不知道如果流中有一些阻塞操作，Flink 会如何反应。如果您有很多并行流阻塞会发生什么，即我的线程用完了吗？或者在流并行化的点上行为如何向上流？
其他人是否可能有类似的问题以及我的问题的答案或一些解决方法的想法？
RichMapFunction is a good starting point but prefer RichAsyncFunctionwhich is asynchronous and which not block your processing !
小心：
1-您的数据库访问但也是异步的
2-您的事件顺序可能会改变（根据使用的模式）
更多细节：https : //ci.apache.org/projects/flink/flink-docs-release-1.2/dev/stream/asyncio.html
希望能帮助到你
| 归档时间： |
|
| 查看次数： |
2101 次 |
| 最近记录： |