我想通过训练具有超过十亿个特征维度的数据来训练DNN模型.因此第一层权重矩阵的形状将是(1,000,000,000,512).这个重量矩阵太大,无法存放在一个盒子里.
到目前为止,是否有任何解决方案来处理这些大变量,例如将大权重矩阵划分为多个框.
谢谢Olivier和Keveman.让我添加有关我的问题的更多细节.该示例非常稀疏,所有要素都是二进制值:0或1.参数权重看起来像tf.Variable(tf.truncated_normal([1 000 000 000,512],stddev = 0.1))
kaveman给出的解决方案看似合理,我会在尝试后更新结果.
tensorflow ×1