无法使用sklearn加载'mnist-original'数据集

Question

这个问题类似于这里和这里所问的问题。不幸的是，就我而言，建议的解决方案无法解决问题。

我需要使用MNIST数据集，但是即使指定了scikit_learn_data/mldata/文件夹的地址也无法获取（请参见下文）。我怎样才能解决这个问题？

如果有帮助，我正在使用Anaconda。

码：

from sklearn.datasets.mldata import fetch_mldata

dataset = fetch_mldata('mnist-original', data_home='/Users/michelangelo/scikit_learn_data/mldata/')
mnist = fetch_mldata('MNIST original')

错误：

---------------------------------------------------------------------------
IOError                                   Traceback (most recent call last)
<ipython-input-5-dc4d45bc928e> in <module>()
----> 1 mnist = fetch_mldata('MNIST original')

/Users/michelangelo/anaconda2/lib/python2.7/site-packages/sklearn/datasets/mldata.pyc in fetch_mldata(dataname, target_name, data_name, transpose_data, data_home)
    168     # load dataset matlab file
    169     with open(filename, 'rb') as matlab_file:
--> 170         matlab_dict = io.loadmat(matlab_file, struct_as_record=True)
    171 
    172     # -- extract data from matlab_dict

/Users/michelangelo/anaconda2/lib/python2.7/site-packages/scipy/io/matlab/mio.pyc in loadmat(file_name, mdict, appendmat, **kwargs)
    134     variable_names = kwargs.pop('variable_names', None)
    135     MR = mat_reader_factory(file_name, appendmat, **kwargs)
--> 136     matfile_dict = MR.get_variables(variable_names)
    137     if mdict is not None:
    138         mdict.update(matfile_dict)

/Users/michelangelo/anaconda2/lib/python2.7/site-packages/scipy/io/matlab/mio5.pyc in get_variables(self, variable_names)
    290                 continue
    291             try:
--> 292                 res = self.read_var_array(hdr, process)
    293             except MatReadError as err:
    294                 warnings.warn(

/Users/michelangelo/anaconda2/lib/python2.7/site-packages/scipy/io/matlab/mio5.pyc in read_var_array(self, header, process)
    250            `process`.
    251         '''
--> 252         return self._matrix_reader.array_from_header(header, process)
    253 
    254     def get_variables(self, variable_names=None):

mio5_utils.pyx in scipy.io.matlab.mio5_utils.VarReader5.array_from_header()

mio5_utils.pyx in scipy.io.matlab.mio5_utils.VarReader5.array_from_header()

mio5_utils.pyx in scipy.io.matlab.mio5_utils.VarReader5.read_real_complex()

mio5_utils.pyx in scipy.io.matlab.mio5_utils.VarReader5.read_numeric()

mio5_utils.pyx in scipy.io.matlab.mio5_utils.VarReader5.read_element()

streams.pyx in scipy.io.matlab.streams.FileStream.read_string()

IOError: could not read bytes

Answer 1

不幸的是 fetch_mldata() 在最新版本的 sklearn 中已被替换为 fetch_openml()。

所以，而不是使用：

from sklearn.datasets import fetch_mldata
mnist = fetch_mldata('MNIST original')

您必须使用：

from sklearn.datasets import fetch_openml
mnist = fetch_openml('mnist_784')
x = mnist.data
y = mnist.target

x 的形状将是 = (70000,784)
y 的形状将是 = (70000,)

Answer 2

这里的问题的快速更新：

mldata.org似乎仍然不受欢迎。然后scikit-learn将删除fetch_mldata。

目前的解决方案：由于使用上面的行将在data_home的位置创建一个空文件夹，因此请在此处找到数据的副本：https : //github.com/amplab/datascience-sp14/blob/master/lab7/mldata /mnist-original.mat并下载。然后将其放置为〜/ sklearn_data / mldata /，它为空。

它为我工作。

Answer 3

我只是遇到相同的问题，所以花了一些时间才找到问题。一个原因是，首次下载期间数据可能会损坏。删除缓存的数据。找到scikit数据主目录，如下所示：

from sklearn.datasets.base import get_data_home 
print (get_data_home())

清理目录并重新下载数据集。这个解决方案对我有用。供参考：https : //github.com/ageron/handson-ml/issues/143

这也与以下问题有关： 如何在sklearn中使用datasets.fetch_mldata（）？