如何将数据读入Tensorflow？

Question

我正在尝试将CS​​V文件中的数据读取到tensorflow,

https://www.tensorflow.org/versions/r0.7/how_tos/reading_data/index.html#filenames-shuffling-and-epoch-limits

官方文档中的示例代码如下:

col1, col2, col3, col4, col5 = tf.decode_csv(value, record_defaults=record_defaults)

要读取文件,我需要事先知道文件中有多少列和行,如果有1000列,我需要定义1000个变量,col1, col2, col3, col4, col5,..., col1000 ,这看起来不像是一种有效的读取数据的方法.

我的问题

1. 将CSV文件读入Tensorflow的最佳方法是什么？

2. 有没有办法在Tensorflow中读取数据库(例如mongoDB)？

Answer 1

1. 你绝对不需要将col1,col2定义为col1000 ......

   一般来说,你可能会做这样的事情:

   
   columns = tf.decode_csv(value, record_defaults=record_defaults)
   features = tf.pack(columns)
   do_whatever_you_want_to_play_with_features(features)
   

2. 我不知道从MongoDB直接读取数据的任何现成方法.也许你可以编写一个简短的脚本,以Tensorflow支持的格式从MongoDB转换数据,我建议使用二进制形式TFRecord,这比csv记录快得多.这是一篇关于这个主题的好文章.或者您可以选择自己实施自定义数据阅读器,请参阅此处的官方文档.