标签: large-files

我的意思是100多MB大; 这样的文本文件可以推动编辑的信封.

我需要查看一个大型XML文件,但如果编辑器有错误则无法查看.

有什么建议？

我正在寻找如何处理我的源代码(Web应用程序)所依赖的大型二进制文件的意见.我们目前正在讨论几种选择:

1. 手动复制二进制文件.
   • 亲:不确定.
   • Contra:我强烈反对这一点,因为它增加了在设置新站点/迁移旧站点时出错的可能性.建立另一个障碍.
2. 用Git管理所有这些.
   • 专业:删除'忘记'复制重要文件的可能性
   • 反对:膨胀存储库并降低管理代码库和检出,克隆等的灵活性将需要相当长的时间.
3. 单独的存储库.
   • Pro:检查/克隆源代码的速度很快,图像可以在自己的存储库中正确存档.
   • Contra:删除了在项目中拥有唯一的 Git存储库的简单性.它肯定会介绍一些我没有想过的其他事情.

您对此有何体验/想法？

另外:有没有人有多个Git存储库的经验并在一个项目中管理它们？

这些文件是程序的图像,该程序生成包含这些文件的PDF.文件不会经常更改(如年份),但它们与程序非常相关.没有文件,程序将无法运行.

我使用大量数据文件,有时我只需要知道这些文件中的行数,通常我打开它们并逐行读取它们直到我到达文件末尾

我想知道是否有更聪明的方法来做到这一点

我已经花了两天时间对代码样本等进行"最好的"工作,尝试将一个非常大的JSON文件读入c#中的数组中,以便稍后将其拆分为二维数组进行处理.

我遇到的问题是我找不到任何人做我想做的事情的例子.这意味着我只是想编写一些希望最好的代码.

我已经成功地完成了一些工作:

• 读取文件Miss out headers并仅将值读入数组.
• 在数组的每一行上放置一定数量的值.(所以我以后可以把它分成2d数组)

这是通过下面的代码完成的,但是在输入几行到数组后它会崩溃程序.这可能与文件大小有关.

// If the file extension was a jave file the following 
// load method will be use else it will move on to the 
// next else if statement
if (fileExtension == ".json") 
{
    int count = 0;
    int count2 = 0;
    int inOrOut = 0;
    int nRecords=1; 
    JsonTextReader reader = new JsonTextReader(new StreamReader(txtLoaction.Text));
    string[] rawData = new string[5];
    while (reader.Read())
    {
        if (reader.Value != null)
            if (inOrOut == 1)
            {
                if …

我必须在一些机器上同步大文件.这些文件最大可达6GB.同步将每隔几周手动完成.我不能考虑文件名,因为它们可以随时更改.

我的计划是在目标PC和源PC上创建校验和,然后将所有尚未在目标中的校验和文件复制到目标.我的第一次尝试是这样的:

using System.IO;
using System.Security.Cryptography;

private static string GetChecksum(string file)
{
    using (FileStream stream = File.OpenRead(file))
    {
        SHA256Managed sha = new SHA256Managed();
        byte[] checksum = sha.ComputeHash(stream);
        return BitConverter.ToString(checksum).Replace("-", String.Empty);
    }
}

问题是运行时:
- 使用带有1,6 GB文件的SHA256 - > 20分钟
- 使用带有1.6 GB文件的MD5 - > 6.15分钟

是否有更好 - 更快 - 获得校验和的方法(可能具有更好的散列函数)？

我尝试在VIM中打开一个巨大的(~2GB)文件但是它很窒息.我实际上不需要编辑文件,只是有效地跳转.

如何在VIM中处理非常大的文件？

我们刚刚开始一个UNIX类,正在学习各种Bash命令.我们的任务涉及在一个目录下执行各种命令,该目录下面还有许多文件夹.

我知道如何使用以下方法列出和计算根文件夹中的所有常规文件:

find . -type l | wc -l

但是我想知道从那里去哪里才能找到整个目录中最大的文件.我见过一些关于du命令的事情,但是我们还没有学到这一点,所以在我们学到的所有东西中,我认为我们需要以某种方式将它连接到ls -t命令.

请原谅我,如果我的'行话'不正确,我仍然习惯它!

我有一个很好的任务,就是如何处理大型文件被加载到我们应用程序的脚本编辑器中(就像我们用于快速宏的内部产品的VBA一样).大多数文件大约300-400 KB,这是很好的加载.但是当它们超过100 MB时,这个过程很难(正如你所期望的那样).

发生的事情是将文件读取并推入RichTextBox然后导航 - 不要过于担心这部分.

编写初始代码的开发人员只是使用StreamReader并且正在执行

[Reader].ReadToEnd()

这可能需要很长时间才能完成.

我的任务是打破这段代码,将其以块的形式读入缓冲区并显示一个带有取消选项的进度条.

一些假设:

• 大多数文件将是30-40 MB
• 文件的内容是文本(非二进制),有些是Unix格式,有些是DOS.
• 一旦检索到内容,我们就可以找出使用的终结符.
• 一旦加载了在richtextbox中渲染所需的时间,没有人会担心.这只是文本的初始加载.

现在提问:

• 我可以简单地使用StreamReader,然后检查Length属性(so ProgressMax)并为set缓冲区大小发出Read并在后台worker 中的while循环WHILST中迭代,这样它就不会阻塞主UI线程？然后在完成后将stringbuilder返回到主线程.
• 内容将转到StringBuilder.如果长度可用,我可以用流的大小初始化StringBuilder吗？

这些(在您的专业意见中)是好主意吗？我过去曾经有一些问题从Streams读取内容,因为它总会错过最后几个字节或者其他东西,但如果是这样的话,我会问另一个问题.

我正在寻找一个能够加载4+ Gigabyte文件的文本编辑器.Textpad不起作用.我拥有它的副本并且已经到了它的支持站点,它只是没有这样做.也许我需要新的硬件,但这是一个不同的问题.编辑需要是免费的,如果它要花费我,那么不超过30美元.对于Windows.

我有一个大的服务器日志文件(~750 MB)我无法使用记事本或Notepad ++打开(他们都说文件太大).

任何人都可以建议一个程序(对于Windows),一次只能将文件的一小部分读入内存吗？

或者我是否需要编写自己的应用来解析此文件？