标签: filesplitting

如何在行号处分割文件

我想从特定的行号中拆分一个400k行的长日志文件.

对于这个问题,让我们这个任意数字300k.

是否有一个linux命令允许我这样做(在脚本中)?

我知道split让我按大小或行号分割文件,但这不是我想要的.我想要一个文件中的第一个300k和第二个文件中的最后一个100k.

任何帮助,将不胜感激.谢谢!

再想一想,这将更适合超级用户或serverfault站点.

linux shell split filesplitting

93
推荐指数
1
解决办法
12万
查看次数

如何在shell中以可移植的方式在第一个空行上拆分文件(例如使用sed)?

我想将包含HTTP响应的文件拆分为两个文件:一个只包含HTTP头,另一个包含消息正文.为此,我需要\r使用shell脚本将文件拆分为第一个空行(或第一行上仅包含CR =' '字符的UNIX工具)上的两个文件.

如何以便携方式(例如使用sed,但没有GNU扩展)这样做?可以假设空行不是文件中的第一行.空行可以得到文件中的任何一个,没有一个或两个; 对我来说没关系.

shell portability filesplitting sed text-manipulation

11
推荐指数
2
解决办法
7056
查看次数

在流式hadoop程序中获取输入文件名

在Java中编写程序时,我能够使用FileSplit在mapper类中找到输入文件的名称.

当我用Python编写程序时(使用流式传输?),有相应的方法吗?

我在apache上的hadoop流文档中找到了以下内容:

请参阅配置参数.在执行流作业期间,转换"映射"参数的名称.点(.)变为下划线(_).例如,mapred.job.id变为mapred_job_id,mapred.jar变为mapred_jar.在您的代码中,使用带下划线的参数名称.

但我仍然无法理解如何在我的mapper中使用它.

任何帮助都非常感谢.

谢谢

python streaming hadoop filesplitting input

7
推荐指数
2
解决办法
8442
查看次数

Mercurial如何处理拆分文件?

mercurial如何处理拆分文件?如果我创建分支并拆分文件会发生什么.我可以轻松地从另一个修改原始未分割文件的分支中提取更改吗?

merge mercurial filesplitting

6
推荐指数
2
解决办法
444
查看次数

使用批处理拆分为卷

我在批处理文件中使用以下命令来存档 MY_LARGE_FOLDER 并且我的 .rar 文件太大:

WinRAR a -r D:\MY_LARGE_FOLDER.rar D:\MY_LARGE_FOLDER\*.txt D:\MY_LARGE_FOLDER\ 
Run Code Online (Sandbox Code Playgroud)
  1. 如何使用批处理文件将 MY_LARGE_FOLDER 归档为每个 4MB 的小型 .rar 文件?(或者换句话说,如何使用批处理文件使用“拆分为卷,字节”选项?)

谢谢。

谢谢您的帮助!我使用了 -v 开关:

          WinRAR a -r **-v4000** D:\MY_LARGE_FOLDER.rar D:\MY_LARGE_FOLDER\*.txt D:\MY_LARGE_FOLDER\
Run Code Online (Sandbox Code Playgroud)

我现在得到了 4 个 4000 字节的文件,但在打开一些文件后,我看到这些文件在多个存档中重复(例如 Part01.rar 和 Part02.rar)???1. 我也试过 -s (solid) 开关,结果是一样的吗?
我该如何解决?

filesplitting batch-file winrar

4
推荐指数
1
解决办法
6132
查看次数

拆分音频文件,但仅限暂停

我一直在玩sox并使用trim命令将整个音频分成n个部分(每个部分固定长度)应该相当简单.

然而,当我打算分割语音录音时,可能会发生一个简单的分裂将在一个单词的中间分裂.

有没有办法防止这种情况,并确保部件包含"整个单词"?

audio filesplitting sox

3
推荐指数
1
解决办法
1382
查看次数

Perl - 在写入过程中更改文件名

我正在尝试使用我在Perl中创建的非常大的txt文件(超过一百万行)并通过Perl中的不同语句运行它,它基本上看起来像这样(注意以下是shell)

a=0
b=1
while read line;
do
    echo -n "" > "Write file"${b}
    a=($a + 1)
    while ( $a <= 5000)
    do
        echo $line >> "Write file"${b}
        a=($a + 1)
    done
    a=0
    b=($b + 1)
done < "read file"
Run Code Online (Sandbox Code Playgroud)

尝试将其大小调整为每个文件5k行,并每次递增(filename1.txt,filename2.txt,filename3.txt等)
这似乎不适用于shell,可能是由于输入文件的大小,而对于我的生活,我想不出如何在循环中间改变我写的文件.

perl split filesplitting increment large-files

0
推荐指数
1
解决办法
83
查看次数