标签: compression

我正在寻找可以对正在归档的文件执行重复数据删除 (dedupe) 的归档程序。解压缩存档后，该软件会将在压缩过程中删除的所有文件放回原处。

到目前为止，我发现：

• http://www.exdupe.com/
• http://archiver.reasonables.com/

任何人都知道其他人吗？

这可能是 7-zip 的一个很棒的补充。

运行 Linux。我有一个包含大约 150 个大型 CSV 文件的目录；简单地zip -9对它们执行 a 会导致一个仍然太大的整体文件。我希望它可以简单地将它们压缩成四个或五个 zip 文件，每个 30-40 个 CSV；这样排序或跨越 zip 顺序不会成为问题，因为每个 zip 都是独立的。必须有一个简单的方法来做到这一点。有什么建议？

（是的，如果可能，zip 是首选格式）

我正在备份我的工作，我正在寻找一个可以更有效地压缩文件的程序。Windows 默认压缩程序工作正常，但它不像我希望的那样“智能”。

我的文件基本上是我过去几个月的工作的完整快照，因为我定期进行完整备份。备份之间没有太多变化，许多文件只是彼此的副本。

我的整个文件集未压缩大约为 15GB，而单个快照备份（使用标准压缩程序压缩）每个大约为 150 到 200 MB（它们通常会随着日期的增加而增加）。所有压缩快照的总大小约为 3GB。由于文件的性质，我希望一个“智能”压缩程序将整个卷降低到 400-500 MB 左右，也就是说，考虑到合理的低效率和额外的空间来压缩文件中的差异。

是否有压缩程序可以利用许多文件相同的事实来实现比标准 Windows 压缩程序更高的压缩率？

谢谢 -Faken

编辑：刚刚使用标准 Windows 压缩完成了整个卷的最佳压缩。它仅比压缩快照的总和好 10MB。在我看来，知道文件的性质是不可接受的。

我最近需要从这里下载 Ruby 源代码，它说“提供三种格式”，分别是.tar.bz2,.tar.gz和.zip. 我们需要所有三种格式有什么理由吗？至少在 Linux 和 OSX 上，我可以轻松完成这三项中的任何一项。在 Windows 上，我认为只有 zip 是内置的。这些偏好背后有什么原因吗，或者这只是一场宗教战争？

我正在尝试了解如何从命令通过管道传输到 gzip、cpio 或 tar 之类的东西。

有问题的命令属于 ZFS 系统。我在 Ubuntu Linux 10.04.3 上运行 ZFS。

我使用的命令是；

To create a snapshot;
zfs snapshot media/mypictures@20070607

To copy the snapshot to a directory;
zfs send media/mypictures@20070607 > ~/backups/20070607

Then I can also pipe into gzip
zfs send media/mypictures@20070607 | gzip > ~/backups/20070607.gz

这些部分我理解。

但我的第一个问题是，我将如何通过管道输入 tar + gzip？

这个？

zfs send media/mypictures@20070607 | tar czvf > ~/backups/20070607.tar.gz

我的另一个问题是如何从 tarball 或 gzip 中获取数据？

我必须使用 zfs recieve media/mypictures@20070607 < ~/backups/20070607

那么如果我使用 tar 会不会是这样？

zfs recieve media/mypictures@20070607 | tar …

我需要一种方法来获取一堆文件并将它们压缩成单独的 zip 文件，每个文件都有一个密码（相同的密码）。我希望能够通过一个简单的步骤来做到这一点。

我创建了一个批处理文件，使用 7zip 压缩它们，这就像一个魅力，但没有密码保护它们。

是否有可以添加到包含密码的批处理文件的命令？或者 - 我如何创建一个批处理文件来密码保护压缩文件？

我有一组 .png 图像，我想在 macOS 上使用 ffmpeg 将它们动画化为电影，但是当我查看生成的视频时，质量总是被压缩，并且当原始图像没有时，生成的视频有伪影。这是来自视频的图像以及原始图像的同一部分。我曾尝试使用带有 crf = 0 的 h.264 编解码器进行编码，但是当我运行 ffmpeg 时出现一个奇怪的错误：

为输出文件 #0 (test.mp4) 指定的编解码器 AVOption crf（为恒定质量模式选择质量）尚未用于任何流。最可能的原因是类型错误（例如，没有视频流的视频选项）或者它是某个编码器的私有选项，实际上并未用于任何流。

我使用以下 ffmpeg 命令来生成它：

ffmpeg -f image2 -r 10 -i image%05d.png -vcodec h264 -crf 0 -y test.mp4

一种可能性是它被禁用（参见下面的完整控制台输出），但这对我来说没有意义，因为当我列出 ffmpeg 编解码器时它确实显示ffmpeg -codecs为

DEV.LS h264 H.264 / AVC / MPEG-4 AVC / MPEG-4 part 10 (encoders: h264_videotoolbox )

这是完整的控制台输入/输出：

ffmpeg -f image2 -r 10 -i image%05d.png -vcodec h264 -crf 0 -y test.mp4
ffmpeg version …

7z 命令行工具允许您指定多种压缩方法，例如：

# 7-zip archive type, strongest (9) compression, methods PPMd, BCJ2, LZMA2
$ 7z a -t7z -mx=9 -m0=PPMd -m1=BCJ2 -m2=LZMA2 myarchive.7z somefile.xml

所有方法都以某种方式使用，或者至少在元数据中指定：

$ 7z l -slt myarchive.7z

7-Zip [64] 9.22 beta  Copyright (c) 1999-2011 Igor Pavlov  2011-04-18

Listing archive: myarchive.
7z

--
Path = myarchive.7z
Type = 7z
Method = LZMA2 PPMD BCJ2
[..]

----------
Path = somefile.xml
[..]
Method = PPMD:o32:mem192m BCJ2 LZMA2:48m
Block = 0

它似乎没有通过所有三种方法运行文件，选择最好的。相反，它显然总是选择第一个，因为更改方法的顺序会显着影响文件大小。

即使我添加了多个文件，例如一个 XML 文件（PPMd 产生最佳压缩）和一个二进制文件（LZMA2 可以），它仍会列出这两个文件的所有方法，并且似乎不会针对每个文件动态切换。

事实上，文档特别说明“您可以使用任意数量的方法。”，但并没有说明 …

我不确定这是否只是巧合，但我最近将我的操作系统升级到了 Win 10。

我现在才注意到（升级后）7-zip 中不再提供 .gzip 存档格式。

也许我错过了一些东西。但是有没有办法在 Win10 中以 .gzip 格式存档文件/目录？

如果是这样，有人可以建议在哪里/如何选择 .gzip 选项吗？

谢谢！

编辑：

我在 Win 7 上测试了 7-zip，还尝试在 Win10 中 gzip .txt 文件和 .tar 文件。

以下是我的发现：

我可以在 Win 7 中 gzip 一个 .txt 文件。

我也可以在 Win 10 中对 .tar 文件进行 gzip，但在 Win 10 中无法对 .txt 文件进行 gzip。此选项在 Win 10 中不再可用。

我有一个名为tmp.gz. 当我尝试使用 解压缩它时gzip -d，我收到一条错误消息，指出它有多个条目：

$ gzip -d tmp.gz
gzip: tmp.gz has more than one entry -- unchanged

$ gzip -d < tmp.gz > tmp
gzip: stdin has more than one entry--rest ignored

（当然，我得到了同样的错误，gunzip而不是gzip -d。）

那么，我如何解压缩它并获取所有文件？