如何在keras模型中验证神经网络的结构？

Question

我是Keras和神经网络的新手.我正在写一篇论文并试图在Keras中创建一个SimpleRNN,如下图所示:

如图所示,我需要创建一个模型,其中包含4个输入+ 2个输出以及隐藏层中的任意数量的神经元.

这是我的代码:

model = Sequential()

model.add(SimpleRNN(4, input_shape=(1, 4), activation='sigmoid', return_sequences=True))
model.add(Dense(2))
model.compile(loss='mean_absolute_error', optimizer='adam')
model.fit(data, target, epochs=5000, batch_size=1, verbose=2)

predict = model.predict(data)

1)我的模型是否实现了图表？
2)是否可以指定神经元输入和隐藏层或输出和输入层之间的连接？

说明:

我将使用反向传播来训练我的网络.我有输入和目标值

输入是一个10*4数组,目标是一个10*2数组,然后我重塑:

input = input.reshape((10, 1, 4))
target = target.reshape((10, 1, 2))

能够指定神经元之间的连接是至关重要的,因为它们可以是不同的.例如,在这里你可以有一个例子:

Answer 1

1)不是真的.但是我不确定你在那张图中究竟想要什么.(让我们看看下面的Keras复现层是如何工作的)

2)是的,可以将每一层连接到每一层,但你不能使用Sequential它,你必须使用Model.

这个答案可能不是你想要的.你到底想要达到什么目的？你有什么样的数据,你期望的输出,模型应该做什么？等等...

1 - 循环图层如何工作？

文档

keras中的循环层使用"输入序列",并可输出单个结果或序列结果.它的重复性完全包含在其中,并且不与其他层交互.

你应该有形状的输入(NumberOrExamples, TimeStepsInSequence, DimensionOfEachStep).这意味着input_shape=(TimeSteps,Dimension).

循环图层将在每个时间步骤内部工作.这些循环从一步到另一步发生,这种行为是完全不可见的.该层似乎与任何其他层一样工作.

这似乎不是你想要的.除非你有一个"序列"输入.我知道在Keras中使用类似于图形的循环图层的唯一方法是当您有序列的一部分并想要预测下一步时.如果是这种情况,请通过在Google中搜索"预测下一个元素"来查看一些示例.

2 - 如何使用Model连接图层:

不是将层添加到顺序模型(始终遵循直线),而是从输入张量开始独立地开始使用图层:

from keras.layers import *
from keras.models import Model

inputTensor = Input(shapeOfYourInput) #it seems the shape is "(2,)", but we must see your data.    

#A dense layer with 2 outputs:
myDense = Dense(2, activation=ItsAGoodIdeaToUseAnActivation)


#The output tensor of that layer when you give it the input:
denseOut1 = myDense(inputTensor)

#You can do as many cycles as you want here:
denseOut2 = myDense(denseOut1)

#you can even make a loop:
denseOut = Activation(ItsAGoodIdeaToUseAnActivation)(inputTensor) #you may create a layer and call it with the input tensor in just one line if you're not going to reuse the layer
    #I'm applying this activation layer here because since we defined an activation for the dense layer and we're going to cycle it, it's not going to behave very well receiving huge values in the first pass and small values the next passes....
for i in range(n):
    denseOut = myDense(denseOut)

这种用法允许您创建任何类型的模型,包括分支,替代方式,从任何地方到任何地方的连接,只要您遵守形状规则.对于这样的循环,输入和输出必须具有相同的形状.

最后,您必须从一个或多个输入到一个或多个输出定义模型(您必须具有匹配您选择的所有输入和输出的训练数据):

model = Model(inputTensor,denseOut)

但请注意,这个模型是静态的.如果要更改循环次数,则必须创建新模型.

在这种情况下,它就像重复循环步骤denseOut = myDense(denseOut)和创建另一个循环步骤一样简单model2=Model(inputTensor,denseOut).

3 - 尝试创建如下图所示的内容:

我假设C和F将参与所有迭代.如果不,

由于有四个实际输入,我们将分别处理它们,让我们创建4个输入,所有都像(1,).您的输入数组应分为4个数组,均为(10,1).

from keras.models import Model
from keras.layers import *

inputA = Input((1,))
inputB = Input((1,))
inputC = Input((1,))
inputF = Input((1,))

现在层N2和N3只能使用一次,因为C和F是常数:

outN2 = Dense(1)(inputC)
outN3 = Dense(1)(inputF)

现在是重复层N1,还没有给它提供张量:

layN1 = Dense(1)

对于循环,让我们创建outA和outB.它们以实际输入开始,并将被赋予层N1,但在循环中它们将被替换

outA = inputA   
outB = inputB

现在在循环中,让我们做"通行证":

for i in range(n):
    #unite A and B in one 
    inputAB = Concatenate()([outA,outB])

    #pass through N1
    outN1 = layN1(inputAB)

    #sum results of N1 and N2 into A
    outA = Add()([outN1,outN2])

    #this is constant for all the passes except the first
    outB = outN3 #looks like B is never changing in your image.... 

现在的模型:

finalOut = Concatenate()([outA,outB])
model = Model([inputA,inputB,inputC,inputF], finalOut)