Dataset.map可以通过tf.py_func调用以某种方式并行化吗?

cru*_*dom 5 tensorflow

正如提到的这个帖子Dataset.map不支持并行在tf.py_func地图中的函数调用(该tf.py_func部分将顺序执行)。

有没有解决此问题的方法?通常情况下,输入管道需要复杂的python控制流和张量流中不存在的操作。过去,我曾经使用python库实现自己的队列和预处理线程,但是使用便捷的tf.data接口能够做到这一点将非常方便。