Git找到历史记录中的所有二进制文件

Question

对不起,如果这是上一个问题的重复,但我找不到我正在寻找的东西.我正在将一个大型cvs代码集(20多个存储库,有15年的历史--10-15 GB大小)转换为git.大部分的大小是由于过去与代码一起提交的二进制文件.虽然一些二进制文件是可以完全删除的文件,但是保留其中许多文件以及它们的历史记录是可取的.但是,我们不希望回购膨胀.

我们目前正计划使用git-fat来存储二进制文件,但我正在编写脚本来自动转换文件.我的第一步是尝试识别repo中包含二进制文件的所有文件(包括已删除的文件).有没有简单的方法来实现这一目标？谢谢你的帮助

编辑

我实际上认为我找到了一个合理的方法,我只是跑

git log --numstat <first commit hash> HEAD

这将打印出前面有两列的所有文件的列表,第一列包含文件的更改次数(我不确定它是以字节还是行为单位).但重要的部分是二进制文件,它是' - '.通过选择带有此标记的行,并将它们"唯一",我相信我会获得完整的二进制文件列表.

这个策略有什么缺陷吗？

Answer 1

tldr;

git log --all --numstat \
    | grep '^-' \
    | cut -f3 \
    | gsed -r 's|(.*)\{(.*) => (.*)\}(.*)|\1\2\4\n\1\3\4|g' \
    | sort -u

说明:

该git-log选项--numstat

显示十进制表示法中添加和删除的行数以及没有缩写的路径名,以使其更加机器友好.对于二进制文件,输出两个 - 而不是说0 0.

来源:https://git-scm.com/docs/git-log,强调我的

这会生成如下输出条目:

commit 0123456789012345678901234567890123456789
Author: Joe Example <jexample@domain.com>
Date:   Thu Mar 9 15:33:29 2017 +0000

    edit Dockerfile, add assets/foobar.jpg

1   1   Dockerfile
-   -   assets/foobar.jpg

的grep '^-'匹配线具有前导连字符时,cut -f3打印在第三制表符分隔的字段,并且

sed -r 's|(.*)\{(.*) => (.*)\}(.*)|\1\2\4\n\1\3\4|g'

检测已移动/重命名的文件并打印源和目标; 例如,它会改变这个:

path/to/{foo => bar}/my-document.pdf

对此:

path/to/foo/my-document.pdf
path/to/bar/my-document.pdf

最后,sort -u将累积,排序和统一路径列表.

编辑:您需要安装gnu-sed,因为默认情况下sed没有-r选项.最好通过Brew安装:brew install gnu-sed

Answer 2

一种解决方案是迭代所有修订版，获取每个修订版中的所有文件，获取每个文件的内容，然后获取每个文件的类型，所以......

以下是获取所有修订版本列表的方法：

$ git rev-list HEAD
32a9b9158d73dc80b355993a5a5f8fc49ae25334
9946574838bf5f984f5f4a19b2fc524f0a60378c
3f82a5dcecde0028da21fb266c1bbd7e9ec762ec
...

以下是获取修订版本中所有文件列表的方法：

$ git ls-tree -r 32a9b9158d73dc80b355993a5a5f8fc49ae25334
100644 blob dcf290b1a99a8d2535b8aa8f85702cd1b7fac6e8    .gitignore
100644 blob e69de29bb2d1d6434b8b29ae775ad8c2e48c5391    README

您可以通过使用每个修订版中提供每个文件的 blob 来获取每个文件的内容

git show:
$ git show dcf290b1a99a8d2535b8aa8f85702cd1b7fac6e8
.gitignore

*.pyc
rm_pyc.sh
aima/**/*.pyc
.idea

要测试文件是否是二进制文件，可以使用 /bin/file：

git show dcf290b1a99a8d2535b8aa8f85702cd1b7fac6e8 > file
/bin/file file
file: ASCII text