如何将Tensorflow网络切成两个保持梯度的反向传播？

Question

我正在尝试使用张量流实现“深度卷积逆图形网络”，这意味着我必须对梯度做一些棘手的事情。

基本上，我想将自动编码器分为两个独立的网络。我不是必须的，但是那很方便。目的是对反向传播步骤中流动的梯度进行一些难以置信的修改。您有什么想法可以做到吗？这是我要实现的架构：

显而易见，对于前向路径，它意味着将一个网络的输出插入另一个网络。不幸的是，我看不到如何向后传播该错误。

目前，我最好的想法是复制一个权重矩阵，即将W3复制为W2.5到编码器，而不是复制W3渐变为W2.5的梯度。但是在此模式中必须有更简单的方法或明显的误解。