标签: data-compression

我正在考虑使用亚马逊云来满足我的所有模拟需求.生成的sim文件非常大,我想将它们移动到我的本地驱动器以便于分析,等等.您必须为移动的每个数据付费,因此我希望尽可能小地压缩我的所有SIM卡.它们只是以.mat文件形式保存的numpy数组,使用:

import scipy.io as sio
sio.savemat(filepath, do_compression = True) 

所以我的问题是,压缩numpy数组的最佳方法是什么(它们目前存储在.mat文件中,但我可以使用任何python方法存储它们),使用python压缩保存,linux压缩,或两者兼而有之？

我在linux环境中,我对任何类型的文件压缩都持开放态度.

在我一直在研究的应用程序中,我必须通过套接字发送256 x 256矩阵.我正在为一个在集群上运行的离岸系统模拟器开发一个可视化客户端,这个矩阵是一个代表海洋表面当前状态的高度图.

这是一个实时应用程序,因此速度是必须的.并且,使用256 x 256矩阵的浮点数,我必须每秒发送256千字节的数据,对于需要256千字节/秒的带宽.

这是很多,至少对我的应用程序而言.

所以,我的问题是,在通过套接字发送之前是否有一些很好的方法来压缩这个矩阵？并且,如果有这样的方法,我可以期望减少多少os？

由于我的矩阵代表连续的表面,有损压缩方法对我来说不是问题.我主要关注的是压缩率,压缩发生所需的时间,最后是否已经为C++实现了这种方法.

我有一个列，我想在（XML 数据）中存储大量文本数据。每行大约 8,000 个字符，每分钟大约 100-500 行。

这么多数据意味着我将不得不相当积极地清除该列。（因为我必须在我们公司的 SAN 上托管我的 SQL Server，所以存储空间非常昂贵。） 但是如果我能找到一种方法来压缩这些数据，我可以将它保留更长时间。

我看过类似这篇关于在 SQL 2005 中使用 CLR 集成来压缩 BLOB 的文章。

我还看到了用于 SQL Server 2005的工具SQLCompress.NET。

两者似乎都说他们完全按照我的意愿行事。 在存储时压缩单个列的数据。

但是，该工具已被放弃（自 2008 年以来没有更新）并且我对 CLR 集成知之甚少，除非我听说它会导致问题。 此外，这两种解决方案都适用于 SQL Server 2005。

所以，这是我的问题。我正在使用 SQL Server 2008 R2。这些 SQL Server 2005 解决方案中的任何一个都适合我吗？

或者是否有另一种解决方案可以用来压缩我的数据？

注意：行压缩和页面压缩对我需要的东西没有帮助（至少就我所见）。行压缩将固定长度的数据存储在可变长度字段中，页面压缩减少了冗余数据的实例。这些都不会帮助处理大块的文本。

注意二：我看到了这个问题，但它的答案使用了行和页压缩或 FILESTREAMs。我不想使用 FILESTREAM，因为我失去了镜像数据库的能力。

我想通过算法生成X MBytes的"不可压缩"数据序列.我想这样做是为了创建一个通过VPN连接测量网络速度的程序(避免vpn内置压缩).

有谁能够帮我？谢谢!

PS.我需要一个算法,我已经使用压缩到不能再压缩的点的文件,但现在我需要以编程方式从头开始生成数据序列.

我的数据实际上并不是完全随机的.我希望压缩遥测测量,这些测量往往在相同的范围内(例如,温度变化不大).但是,我寻求多种应用的解决方案,所以我可能会发送一天的温度,下一次的电压,等等.

我想通过低数据速率卫星链路发送测量数据.SatCom相当昂贵,所以我想尽可能地削减每一分钱.我不介意花费计算资源来打包和解压缩数据,因为没有太多时间关键(传输192个字节可能需要30秒).

任何人都可以建议一个FOSS数据压缩方法,这将给我最大的遥测数据压缩？

有没有值得尝试？我可以期待什么样的百分比收益？

我很抱歉,我无法更准确地了解数据的性质 - 只需要进行一般的遥测测量,如温度,纬度/长度GPS位置,液体流速等.

我想要一个随机数列表的最佳压缩算法.

列表示例:

224.19
225.57
226.09
222.74
222.20
222.11
223.14
540.56
538.96
540.14
540.44
336.45
338.47
340.78
156.73
160.02
158.56
156.23
55.08
56.33
54.88
53.45

我可以跳过小数部分.我有很多数字列表,就像上面给出的例子一样,这就是它需要被压缩的原因.

你能推荐什么吗？

WinRar 中使用了哪种压缩算法？我正在研究文件压缩技术。那么哪种算法最适合压缩音频/视频文件？

file  = BZ2File(SOME_FILE_PATH)
p = xml.parsers.expat.ParserCreate()
p.Parse(file)

这是试图解析用bz2压缩的xml文件的代码.不幸的是它失败了一条消息:

TypeError: Parse() argument 1 must be string or read-only buffer, not bz2.BZ2File

有没有办法解析压缩的bz2 xml文件？

注意:p.Parse(file.read())这里不是一个选项.我想解析一个比可用内存大的文件,所以我需要一个流.

是否可以以fprintf将数据写入压缩文件的方式使用？例如:

fopen ("myfile.txt","w");

将写入纯文本文件.因此文件大小变得非常大.

我有一个要求说明应该执行数据压缩和加密.

但是,我怀疑应该首先执行哪个步骤以优化压缩率和执行时间.如何选择首先执行哪个步骤以及使用压缩和加密方法？