标签: compression

我需要压缩一个目录，其中包含大约 350,000 个相当小的文件，总共大约 100GB。我正在使用 OSX，目前正在使用标准的“压缩”工具将该目录转换为 .zip 文件。有没有更快的方法来做到这一点？

我正在寻找最快gzip（或 zip）的实用程序。我有一个 LVM 卷，其中 95% 存在于空白中0，因此压缩非常容易。我正在寻找最快的解决方案，并且除了0's之外并不真正关心压缩。

我知道gzip -1（与 相同gzip --fast）但想知道是否有更快的方法。

谢谢。

编辑： 经过一些测试，我比较了gzip -1,lzop -1和pigz -1彼此并得出以下结果：

猪：

time dd if=/dev/VPS/snap | pigz -1 | ssh backup-server "dd of=/home/backupvps/snap.pigz"

104857600+0 records in
104857600+0 records out
53687091200 bytes (54 GB) copied, 2086.87 seconds, 25.7 MB/s
7093985+266013 records in
7163950+1 records out
3667942715 bytes (3.7 GB) copied, 2085.75 seconds, 1.8 MB/s

real    34m47.147s

LZOP：

time dd if=/dev/VPS/snap …

我非常喜欢 7-Zip - 它是我在 Windows 上选择的压缩实用程序。我只有一个问题：它的屁股很丑。我真的有点不愿意将它安装在我的新 Windows 7 系统上，因为它的特性令人眼花缭乱。悲伤，我知道，但我的设计师实在是太蠢了，无法应付。

有谁知道用更有吸引力的东西替换所有默认图标的简单方法？

我使用 cPanel 控制面板来提取图像存档。

解压时，它会显示所有文件的列表，其中包含诸如膨胀文件名...或提取文件名...等信息。

我注意到，对于 JPEG 文件，它显示为膨胀，而对于 GIF 文件，它显示为提取。

膨胀和提取有什么区别？

任何类型的答案都会有所帮助。

我需要将 80.000 个文件压缩成多个 zip 文件。这是我使用的命令：

zip -s 200M photos_test/*

但是我收到以下错误：

-bash: /usr/bin/zip: Argument list too long

除了手动拆分文件夹文件，我还能做些什么来解决这个问题？

谢谢

我需要一种方法来缩小和压缩成批的 PDF 文件。我更喜欢在 Windows 上执行此操作，但如果它意味着更流畅的工作流程，Linux 会很好。

我知道有诸如 NitroPDF 和 Acrobat 之类的程序可以让您完成此操作，但恐怕必须逐个文件地完成。这些程序也不便宜，我不想购买它们只是为了使用一两个功能。

背景信息：我使用 CamScanner 将收据和发票数字化以进入账户 (FreeAgent)。CamScanner pdf 都是 A4 大小的，多页的通常超过 2MB 的附件限制。

我使用 GNU tar。它可以在压缩/解压缩文件时自动检测压缩类型。但是我需要从 stdin 解压缩存档，并且压缩类型未知。我注意到 tar 可以给我正确的建议，例如：

tar: Archive is compressed. Use -z option

但我希望 tar自动使用该压缩选项，而无需我输入该参数。我怎样才能做到这一点？为什么 tar 不直接解压，因为它已经知道压缩类型了？

谢谢！

本主题讨论 HDD 上的 NTFS 压缩作为提高磁盘访问性能的一种方法，并得出结论，它通常在这方面做得很差。但我一直认为压缩是一种节省空间的方式，并在这方面了解了它的有效性。现在我有一个 SSD，它的空间很昂贵，而且性能损失，例如读/写 2 个集群而不是 1 个集群要低得多。

另一方面，由于 SSD 比 HDD 快得多，我预计更高的吞吐量将导致更高的 CPU 使用率。这会成为一个问题吗？关于这个问题还有其他想法吗？

我喜欢节省空间的效果，它不是很大，但它就在那里。但是，如果性能是一个问题，我宁愿将其关闭：

ffmpeg 文档中提到了以下内容。

ffmpeg 调用 libavformat 库（包含多路分配器）来读取输入文件并从中获取包含编码数据的数据包……然后将编码数据包传递给解码器……解码器生成未压缩的帧（原始视频/PCM 音频/…… ) 可以通过过滤进一步处理...

这是否意味着您始终可以从所有压缩格式/编解码器（如 h.264）中提取原始大尺寸视频？

制作 7zip 文件时要使用哪些设置以获得最大压缩率？我正在压缩包含扫描图像的 PDF 文档。我正在考虑使用 LZMA2，但我不知道在字典大小、字大小等中设置什么。另外，LZMA 或 PPMd 会是更好的选择吗？

我需要通过网络传输一些文件（~200MiB），这里的上传速度非常慢，所以我想尽可能地压缩数据。消耗的 CPU 时间不是很重要。

编辑

这是我在测试各种压缩方法后得到的结果：

未压缩大小为：25,462,686B

我的处理器是 Intel Core 2 Due T8100，我有 4GiB 的内存。

最好的压缩是使用 PeaZip 使用 PAQ8O 算法。结果文件大小为 19,994,325B。使用的设置是压缩级别：最大。不幸的是，压缩速度大约为 5KiB/s，因此压缩数据需要 1 个小时以上。

接下来是实验性的 PAQ9O 压缩机。使用它，我在大约 3 分钟的压缩中得到了 20,132,660B。不幸的是，程序只是命令行，没有多少其他程序使用这种压缩算法。它还使用大约 1.5GiB 的 RAM 和我使用的设置（a -9 -c）

之后是使用 LZMA2 的 7-Zip 9.15 beta (2010-06-20)。使用它，我在大约 3 分钟内得到了 20,518,802B。使用的设置是字大小 273，字典大小 64MB，我使用 2 个线程进行压缩。

现在回到我最初的问题：在我的情况下，实体块大小没有产生任何明显的结果。增加字数确实产生了一些结果。最大字长和最小字长之间的差异是 115,260B。我相信这样的节省确实证明了进行两次必要的点击和更改字号所需的努力是合理的。

我尝试使用 7zip 和 PeaZip 支持的其他压缩算法，它们生成的文件大小从 19.8MiB 到 21.5MiB。

最后，我的结论是，在压缩主要包含图像的 PDF 文档时，使用奇异压缩算法所需的努力是不合理的。在 7zip 中使用 LZMA2 压缩在最短的时间内产生了相当可接受的结果。