我正在Tensorflow中实现一个语义分段网络,我正在试图弄清楚如何在训练期间写出标签的摘要图像.我想以与Pascal VOC数据集中使用的类分割注释类似的方式对图像进行编码.
例如,假设我有一个网络,批量大小为1,有4个类.网络的最终预测已经形成[1, 3, 3, 4]
本质上我想要获取输出预测并运行它argmin以获得包含输出中每个点的最可能类的张量:
[[[0, 1, 3],
[2, 0, 1],
[3, 1, 2]]]
带注释的图像使用255种颜色的调色板来编码标签.我有一个包含所有颜色三元组的张量:
[[ 0, 0, 0],
[128, 0, 0],
[ 0, 128, 0],
[128, 128, 0],
[ 0, 0, 128],
...
[224, 224, 192]]
我怎么能获得一个形状的张量[1, 3, 3, 3](一个3x3彩色图像),使用从argmin？获得的值索引到调色板？
[[palette[0], palette[1], palette[3]],
[palette[2], palette[0], palette[1]],
[palette[3], palette[1], palette[2]]]
我可以很容易地包装一些numpy和PIL代码,tf.py_func但我想知道是否有一种纯Tensorflow方式来获得这个结果.
编辑:对于那些好奇,这是我使用numpy的解决方案.它工作得很好,但我仍然不喜欢使用tf.py_func:
import numpy as np
import tensorflow as tf
def voc_colormap(N=256):
bitget = lambda …