调用 API 是否违反 Apache Beam 编程模型？

Question

使用Apache Beam丰富数据时，对每个数据项都进行一次API调用会不会出错？

（我是 Apache Beam 的新手）

Answer 1

否，但您可以批量 API 调用以获得更好的性能。查看这篇博文中的“批量 RPC”示例。

另一件需要注意的事情是，beam 无法保证外部 API 调用的精确一次。如果相关管道需要一次性 QoS，您应该努力使 API 调用具有幂等性。