也许是一般性的问题,但任何人都可以解释什么会导致卷积神经网络发散?
具体细节:
我正在使用Tensorflow的iris_training模型和我自己的一些数据并继续获取
错误:tensorflow:模型与损失= NaN分歧.
追溯...
tensorflow.contrib.learn.python.learn.monitors.NanLossDuringTrainingError:训练期间NaN丢失.
回溯源于线:
tf.contrib.learn.DNNClassifier(feature_columns=feature_columns,
hidden_units=[300, 300, 300],
#optimizer=tf.train.ProximalAdagradOptimizer(learning_rate=0.001, l1_regularization_strength=0.00001),
n_classes=11,
model_dir="/tmp/iris_model")
Run Code Online (Sandbox Code Playgroud)
我已经尝试调整优化器,使用零学习率,并且不使用优化器.任何有关网络层,数据大小等的见解都是值得赞赏的.
我正在研究Deep Neural Networks并且想知道以下问题:
为了获得最佳准确度,每层最佳层数和神经元数量是多少?
最佳数字是否等于要素大小,以便考虑每个要素对另一组要素的影响?
此外,如果我们寻求最佳的准确性和效率,答案会有所不同吗?
谢谢,任何见解表示赞赏!
编辑:
这些答案内容丰富.我仍然觉得他们没有特别提到我问题的第一部分.澄清:是否有最大量的神经元和层在应用时对数据同样精细,因此添加更多神经元或层将是多余的?我假设3个特征数据集的无限层在某些时候变得不必要.再次感谢所有阅读和回复!
optimization artificial-intelligence machine-learning neural-network deep-learning