相关疑难解决方法(0)

我有一个内存大于2 GB的.txt文件.问题是我无法使用Notepad,Notepad ++或任何其他编辑器程序打开它.

有解决方案吗

我尝试在VIM中打开一个巨大的(~2GB)文件但是它很窒息.我实际上不需要编辑文件,只是有效地跳转.

如何在VIM中处理非常大的文件？

我正在寻找一个能够加载4+ Gigabyte文件的文本编辑器.Textpad不起作用.我拥有它的副本并且已经到了它的支持站点,它只是没有这样做.也许我需要新的硬件,但这是一个不同的问题.编辑需要是免费的,如果它要花费我,那么不超过30美元.对于Windows.

我有一个大的服务器日志文件(~750 MB)我无法使用记事本或Notepad ++打开(他们都说文件太大).

任何人都可以建议一个程序(对于Windows),一次只能将文件的一小部分读入内存吗？

或者我是否需要编写自己的应用来解析此文件？

我<script>在我的HTML中嵌入了一个大型数组,就像这样(没什么好惊讶的):

<script>
    var largeArray = [/* lots of stuff in here */];
</script>

在此特定示例中,阵列具有210,000个元素.这远远低于理论最大值2 ³¹ - 4个数量级.这是有趣的部分:如果我将数组的JS源保存到文件中,那么该文件大于44兆字节(确切地说是46,573,399字节).

如果您想亲眼看看,可以从GitHub下载.(那里的所有数据都是罐装的,所以很多都是重复的.生产中不会这样.)

现在,我真的不担心提供那么多数据.我的服务器gzips它的响应,所以它真的不需要花费很长时间才能通过网络获取数据.但是,一旦加载,页面就会出现令人讨厌的趋势,导致浏览器崩溃.我在IE中根本没有测试(这是一个内部工具).我的主要目标是Chrome 8和Firefox 3.6.

在Firefox中,我可以在控制台中看到一个相当有用的错误:

Error: script stack space quota is exhausted

在Chrome中,我只是得到了悲伤标签页:

已经切入了追逐

• 对于我们现代的"高性能"浏览器来说,这真的太多了吗？
• 有什么我可以做*优雅地处理这么多的数据？

顺便说一句,我能够在Chrome中启用此功能(阅读:不会崩溃选项卡).我真的认为Chrome至少是由更强硬的东西制成的,但显然我错了......

编辑1

@Crayon:我不想证明我为什么要立即将这么多数据转储到浏览器中.简短版本:要么解决这个问题(当然不是那么容易),要么我必须解决一大堆其他问题.我现在选择更简单的方法.

@various:现在,我并不是特别想找到减少数组中元素数量的方法.我知道我可以实现Ajax分页或者你有什么,但是在其他方面它会为我引入一系列问题.

@Phrogz:每个元素看起来像这样:

{dateTime:new Date(1296176400000),
 terminalId:'terminal999',
 'General___BuildVersion':'10.05a_V110119_Beta',
 'SSM___ExtId':26680,
 'MD_CDMA_NETLOADER_NO_BCAST___Valid':'false',
 'MD_CDMA_NETLOADER_NO_BCAST___PngAttempt':0}

@Will:但是我的计算机配备了4核处理器,6 GB RAM,超过半TB的磁盘空间......我甚至都没有要求浏览器快速完成这项工作 - 我只想问因为它可以工作!☹

编辑2

任务完成!

通过Juan和Guffa的现场建议,我能够让这个工作!似乎问题只是解析源代码,而不是在内存中实际使用它.

总结胡安答案的评论泥潭:我不得不将我的大阵列分成一系列较小的阵列,然后是Array#concat()它们,但这还不够.我还 …

我正在尝试找到一种方法来针对XSD验证大型XML文件.我看到了这个问题......验证XML的最佳方法......但答案都指向使用Xerces库进行验证.唯一的问题是,当我使用该库来验证180 MB文件时,我得到一个OutOfMemoryException.

是否有其他工具,库,策略来验证大于普通的XML文件？

编辑:SAX解决方案适用于java验证,但libxml工具的另外两个建议对于java之外的验证非常有用.

我有一个4 GiB txt文件,我需要查看.

当我尝试在Gedit中打开它时会加载一段时间然后崩溃.

您对我可以用来查看此文件的文本编辑器有任何想法吗？我的操作系统是Fedora 20.

最近我在我的系统上下载了emacs来编辑它声称的大文件.尝试打开大文件时,emacs给我一个超出缓冲区大小的问题.

有没有办法增加它？!我有一个内存为24 GB的系统!

我有一个300 GB的文本文件,其中包含超过250k记录的基因组数据.有些记录包含不良数据,我们的基因组程序'Popoolution'允许我们用星号注释掉"坏"记录.我们的问题是我们找不到将加载数据的文本编辑器,以便我们可以注释掉不良记录.有什么建议？我们有Windows和Linux盒子.

更新:更多信息

Popoolution程序(https://code.google.com/p/popoolation/)在达到"错误"记录时崩溃,向我们提供我们可以注释掉的行号.具体来说,我们从Perl收到一条消息,上面写着"F#€%&Scaffolding".手册建议我们可以使用星号来注释坏线.可悲的是,我们必须多次重复这个过程......

还有一个想法......是否有一种方法可以让我们在不打开整个文本文件的情况下将星号添加到行中.鉴于我们必须重复该过程未知次数,这可能非常有用.

任何人都可以帮助我.我需要比较两个强大的xml文件每个40mb(确定不是那么强劲),但记事本++呱呱叫.任何人都可以建议一些有用的东西(仅限Windows).

我读了一个类似的线程: 文本编辑器打开大(巨大,巨大,大)的文本文件

但这只涉及打开大文件.比较和开放是两个非常不同的动物.任何人都可以建议任何有用的东西

谢谢克雷格

我有一个很大的3.5 GB CSV文件，我希望能够基于各种输入来读取，排序和筛选结果。我敢肯定，我可以将其导入到MySQL数据库中并从那里进行访问，但是有没有可用的程序或在线工具可以简单地上传CSV，其余的是自动的呢？

我已经Yelp从https://www.yelp.com/dataset_challenge下载了数据集。下载的文件名为yelp_dataset_challenge_round9.tar

但是，从文件中提取的文件tar没有扩展名。我已经检查了https://github.com/Yelp/dataset-examples，但是它假设该文件是一个json名为yelp_academic_dataset.

我已tar下载该文件以及tar提取的内容。我使用的是 Windows 10。我曾经Winrar提取过内容。我非常感谢有关如何打开和查看数据集的任何帮助。