keras model.summary中连接的层的“ [0] [0]”是什么意思？

Question

如下表所示，[0][0]的input_1[0][0]含义是什么？

__________________________________________________
Layer (type)          Output Shape  Param # Connected to           
===================================================================
input_1 (InputLayer)  (None, 1)     0                              
___________________________________________________________________
dropout_1 (Dropout)   (None, 1)     0       input_1[0][0]          
___________________________________________________________________
dropout_2 (Dropout)   (None, 1)     0       input_1[0][0]          
===================================================================
Total params: 0
Trainable params: 0
Non-trainable params: 0
___________________________________________________________________

Answer 1

这是一个好问题，但是要回答这个问题，我们必须深入了解Keras中各层如何相互连接的内部原理。因此，让我们开始：

0）什么是张量？

张量是表示数据的数据结构，它们基本上是n维数组。层之间传递的所有数据和信息都必须是张量。

1）什么是图层？

从最简单的意义上讲，层是一个计算单元，它在其中获得一个或多个输入张量，然后对其施加一组运算（例如乘法，加法等），并将结果作为一个或多个输出张量给出。在某些输入张量上应用图层时，将在引擎盖下创建一个Node。

2）那么什么是节点？

为了表示两层之间的连通性，Keras内部使用了一个Nodeclass 对象。将图层应用于某些新输入时，将创建一个节点并将其添加到该_inbound_nodes图层的属性中。此外，当一层的输出被另一层使用时，会创建一个新节点并将其添加到_outbound_nodes该层的属性中。因此，从本质上讲，此数据结构使Keras可以使用以下类型的对象的属性来查找各层之间的连接方式Node：

• input_tensors：这是一个包含节点输入张量的列表。
• output_tensors：这是一个包含节点输出张量的列表。
• inbound_layers：这是一个列表，其中包含input_tensors来自哪里的图层。
• outbound_layers：消费者层，即将input_tensors其转化为的层output_tensors。
• node_indices：这是一个整数列表，其中包含的节点索引input_tensors（将在以下问题的答案中对此进行更多说明）。
• tensor_indices：这是一个整数列表，其中包含input_tensors它们相应的入站层中的索引（将在以下问题的答案中对此进行详细说明）。

3）好！现在告诉我模型摘要的“连接到”列中的那些值是什么意思？

为了更好地理解这一点，让我们创建一个简单的模型。首先，让我们创建两个输入层：

inp1 = Input((10,))
inp2 = Input((20,))

接下来，我们创建一个Lambda具有两个输出张量的图层，第一个输出是输入张量除以2，第二个输出是输入张量乘以2：

lmb_layer = Lambda(lambda x: [x/2, x*2])

让我们在inp1和上应用此lambda层inp2：

a1, b1 = lmb_layer(inp1)
a2, b2 = lmb_layer(inp2)

完成此操作后，已创建两个节点并将其添加到的_inbound_nodes属性lmb_layer：

>>> lmb_layer._inbound_nodes
[<keras.engine.base_layer.Node at 0x7efb9a105588>,
 <keras.engine.base_layer.Node at 0x7efb9a105f60>]

第一节点对应于lmb_layer第一层与第一输入层inp1的连通性，第二节点对应于第二层与第二输入层的连通性inp2。此外，每个这些节点的具有两个输出张量（对应于a1，b1和a2，b2）：

>>> lmb_layer._inbound_nodes[0].output_tensors
[<tf.Tensor 'lambda_1/truediv:0' shape=(?, 10) dtype=float32>,
 <tf.Tensor 'lambda_1/mul:0' shape=(?, 10) dtype=float32>]

>>> lmb_layer._inbound_nodes[1].output_tensors
[<tf.Tensor 'lambda_1_1/truediv:0' shape=(?, 20) dtype=float32>,
 <tf.Tensor 'lambda_1_1/mul:0' shape=(?, 20) dtype=float32>]

现在，让我们创建并应用四个不同的Dense层，并将它们应用于我们获得的四个输出张量：

d1 = Dense(10)(a1)
d2 = Dense(20)(b1)
d3 = Dense(30)(a2)
d4 = Dense(40)(b2)

model = Model(inputs=[inp1, inp2], outputs=[d1, d2, d3, d4])
model.summary()

模型摘要如下所示：

Layer (type)                    Output Shape         Param #     Connected to                     
==================================================================================================
input_1 (InputLayer)            (None, 10)           0                                            
__________________________________________________________________________________________________
input_2 (InputLayer)            (None, 20)           0                                            
__________________________________________________________________________________________________
lambda_1 (Lambda)               multiple             0           input_1[0][0]                    
                                                                 input_2[0][0]                    
__________________________________________________________________________________________________
dense_1 (Dense)                 (None, 10)           110         lambda_1[0][0]                   
__________________________________________________________________________________________________
dense_2 (Dense)                 (None, 20)           220         lambda_1[0][1]                   
__________________________________________________________________________________________________
dense_3 (Dense)                 (None, 30)           630         lambda_1[1][0]                   
__________________________________________________________________________________________________
dense_4 (Dense)                 (None, 40)           840         lambda_1[1][1]                   
==================================================================================================
Total params: 1,800
Trainable params: 1,800
Non-trainable params: 0
__________________________________________________________________________________________________

在图层的“连接到”列中，值的格式为：layer_name[x][y]。的layer_name对应于其中该层的输入张量来自层。例如，所有Dense层都连接到该层lmb_layer并因此从该层获取其输入。分别[x][y]对应于输入张量的节点索引（即node_indices）和张量索引（即tensor_indices）。例如：

• 应用该dense_1层，该层是a1的第一个（即索引：0）入站节点的第一个（即索引：0）输出张量lmb_layer，因此连通性显示为：lambda_1[0][0]。

• 应用该dense_2层，该层是b1的第一个（即索引：0）入站节点的第二个（即索引：1）输出张量lmb_layer，因此连通性显示为：lambda_1[0][1]。

• 应用该dense_3层是a2的第二个（即索引：1）入站节点的第一个（即索引：0）输出张量lmb_layer，因此该连通性显示为：lambda_1[1][0]。

• 应用该dense_4层，该层是b2的第一个（即索引：1）入站节点的第二个（即索引：1）输出张量lmb_layer，因此连通性显示为：lambda_1[1][1]。

而已！如果您想进一步了解summary方法的工作原理，可以看一下该print_summary函数。如果您想了解连接的打印方式，可以看一下该print_layer_summary_with_connections功能。