Excel CSV.文件超过1,048,576行的数据

Question

我已经获得了一个CSV文件,其中包含超过MAX Excel可以处理的内容,而且我真的需要能够查看所有数据.我理解并尝试过"拆分"它的方法,但它不起作用.

一些背景:CSV文件是Excel CSV文件,并且提供该文件的人说有大约2m数据行.

当我将它导入Excel时,我将数据放到行中1,048,576,然后1,048,577在数据中从行开始的新选项卡中重新导入它,但它只给我一行,我知道应该有更多的事实(不仅因为"人"说有超过200万,而是因为最后几组中的信息)

我想也许发生这种情况的原因可能是因为我已经将CSV文件作为Excel CSV文件提供,所以过去的所有信息1,048,576都丢失了(？).

我是否需要索取SQL数据库格式的文件？

Answer 1

您应该尝试划分它可以打开多达20亿行和200万列很快就可以免费试用15天.这份工作对我来说!

Answer 2

我建议在MS-Access中加载.CSV文件.

使用MS-Excel,您可以创建与此源的数据连接(无需实际加载工作表中的记录)并创建连接的数据透视表.然后你可以在你的表中拥有几乎无限数量的行(取决于处理器和内存:我现在有15万行3 Gb内存).

另外一个优点是您现在可以在MS-Access中创建聚合视图.通过这种方式,您可以创建数亿行的概视图,然后在MS-Excel中查看它们(注意32位操作系统中NTFS文件的2Gb限制).

Answer 3

首先,您要将文件格式从csv更改为txt.这很简单,只需编辑文件名并将csv更改为txt即可.(Windows会向您发出有关可能损坏数据的警告,但没关系,只需单击确定).然后制作txt文件的副本,这样现在你有两个文件都有2百万行数据.然后打开第一个txt文件并删除第二百万行并保存文件.然后打开第二个txt文件并删除第一百万行并保存文件.现在将两个文件更改回csv,就像最初将它们更改为txt一样.

Answer 4

Excel 2007+仅限于超过100万行(准确地说是 2 ^ 20),因此它永远不会加载您的2M行文件.我认为你所称的拆分技术是Excel所具有的内置功能,但是afaik只适用于宽度问题,而不适用于长度问题.

我立即看到的最简单的方法是使用一些文件分割工具 - 有大量的'em并使用它来将生成的部分csv文件加载到多个工作表中.

ps:"excel csv files"不存在,只有Excel生成的文件使用通常称为csv文件的格式之一...

Answer 5

我很惊讶没有人提到Microsoft Query。您可以通过仅查询所需的数据，根据需要从大型 CSV 文件中简单地请求数据。（查询的设置就像您在 Excel 中过滤表格的方式一样）

更好的是，如果有人愿意安装 Power Query 加载项，那将非常简单快捷。注意：Power Query 是 2010 和 2013 的加载项，但随 2016 一起提供。

Answer 6

您可以使用PowerPivot处理高达2GB的文件，这足以满足您的需求。

Answer 7

如果您有 Matlab，您可以通过其导入工具打开大型 CSV（或 TXT）文件。该工具为您提供了各种导入格式选项，包括表格、列向量、数字矩阵等。 然而，由于 Matlab 是一个解释器包，导入这么大的文件确实需要自己的时间，我能够导入一个在大约 10 分钟内处理 200 万行。

通过单击“导入数据”按钮，可以通过 Matlab 的“主页”选项卡访问该工具。大文件上传的示例图像如下所示： 导入后，数据会出现在右侧的工作区中，然后可以以类似 Excel 的格式双击该工作区，甚至可以以不同的格式进行绘图。