小编xyd*_*xyd的帖子

我是分布式tensorflow的新手.我在这里找到了这个分布式的mnist测试:https: //github.com/tensorflow/tensorflow/blob/master/tensorflow/tools/dist_test/python/mnist_replica.py

但我不知道如何让它运行.我使用了以下脚本:

  python distributed_mnist.py  --num_workers=3 --num_parameter_servers=1 --worker_index=0 --worker_grpc_url="grpc://tf-worker0:2222"\
  & python distributed_mnist.py  --num_workers=3 --num_parameter_servers=1 --worker_index=1 --worker_grpc_url="grpc://tf-worker1:2222"\
  & python distributed_mnist.py  --num_workers=3 --num_parameter_servers=1 --worker_index=2 --worker_grpc_url="grpc://tf-worker2:2222"

我刚发现这些参数丢失了,所以我将它们传递给程序.这是发生了什么:

I tensorflow/stream_executor/dso_loader.cc:105] successfully opened CUDA library libcublas.so locally
I tensorflow/stream_executor/dso_loader.cc:105] successfully opened CUDA library libcublas.so locally
I tensorflow/stream_executor/dso_loader.cc:105] successfully opened CUDA library libcudnn.so locally
I tensorflow/stream_executor/dso_loader.cc:105] successfully opened CUDA library libcudnn.so locally
I tensorflow/stream_executor/dso_loader.cc:105] successfully opened CUDA library libcufft.so locally
I tensorflow/stream_executor/dso_loader.cc:105] successfully opened CUDA library libcufft.so locally
I tensorflow/stream_executor/dso_loader.cc:105] successfully opened CUDA library …

我对tensorflow很新.我曾经使用theano进行深度学习开发.我注意到这两者之间存在差异,即输入数据可以存储的位置.

在Theano中,它支持共享变量以在GPU内存上存储输入数据,以减少CPU和GPU之间的数据传输.

在tensorflow中,我们需要将数据提供给占位符,数据可以来自CPU内存或文件.

我的问题是:是否可以将输入数据存储在GPU内存中以进行张量流动？还是已经以某种神奇的方式做到了？

谢谢.

我对这两个概念感到困惑.

我在代码中看到了一些关于多GPU而不使用集群和服务器的例子.

这两个不同吗？有什么不同？

非常感谢!

如果将常数乘以损失函数会怎样？我想我会得到更大的渐变，对吗？这是否等于提高学习率？