在Wolfram Mathematica中处理大数据文件的方法

Question

我想知道Mathematica中是否存在使用大文件的方法？目前我有一个大约500Mb的文件与表数据.

Import["data.txt","Table"];

什么是替代方式？

Answer 1

使用OpenRead["file"]它可以为您提供InputStream可以使用的对象Read[stream].根据数据文件的格式,你可能需要设置自定义的选项值Read[]了RecordSeparators.

例:

In[1]:= str = OpenRead["ExampleData/USConstitution.txt"]    
Out[1]= InputStream["ExampleData/USConstitution.txt", 24]   

In[2]:= Read[str, Word]    
Out[2]= "We"    
In[3]:= Read[str, Word]
Out[3]= "the"    
In[4]:= Read[str, Record]
Out[4]= "People of the United States, in Order to form a more perfect Union,"

Answer 2

您还可以将数据加载到数据库（例如 MySQL）中，并使用DatabaseLink从 Mathematica 访问它