为什么Java和Go的gzip会得到不同的结果？

Question

首先,我的Java版本:

string str = "helloworld";
ByteArrayOutputStream localByteArrayOutputStream = new ByteArrayOutputStream(str.length());
GZIPOutputStream localGZIPOutputStream = new GZIPOutputStream(localByteArrayOutputStream);
localGZIPOutputStream.write(str.getBytes("UTF-8"));
localGZIPOutputStream.close();
localByteArrayOutputStream.close();
for(int i = 0;i < localByteArrayOutputStream.toByteArray().length;i ++){
    System.out.println(localByteArrayOutputStream.toByteArray()[i]);
}

输出是:

31 -117 8 0 0 0 0 0 0 0 -53 72 -51 -55 -55 47 -49 47 -54 73 1 0 -83 32 -21 -7 10 0 0 0

那么Go版本:

var gzBf bytes.Buffer
gzSizeBf := bufio.NewWriterSize(&gzBf, len(str))
gz := gzip.NewWriter(gzSizeBf)
gz.Write([]byte(str))
gz.Flush()
gz.Close()
gzSizeBf.Flush()
GB := (&gzBf).Bytes()
for i := 0; i < len(GB); i++ {
    fmt.Println(GB[i])
}

输出:

31 139 8 0 0 9 110 136 0 255 202 72 205 201 201 47 207 47 202 73 1 0 0 0 255 255 1 0 0 255 255 173 32 235 249 10 0 0 0

为什么？

我认为这可能是由这两种语言的不同字节读取方法引起的.但我注意到0永远不会转换为9.而且大小[]byte不同.

我写错了代码吗？有没有办法让我的Go程序获得与Java程序相同的输出？

谢谢!

Answer 1

首先是byteJava 中的类型是有符号的,它有一个范围-128..127,而在Go中byte是一个别名,uint8并且有一个范围0..255.因此,如果要比较结果,则必须将负Java值移除256(添加256).

提示:要byte以无符号方式显示Java 值,请使用:byteValue & 0xff将其转换为int使用8位byte作为最低8位的值int.或者更好:以十六进制形式显示两个结果,这样您就不必关心签名......

即使您进行了轮班,您仍会看到不同的结果.这可能是由于不同语言中的默认压缩级别不同.请注意,尽管默认压缩级别同时6位于Java和Go中,但未指定此级别,并且允许不同的实现选择不同的值,并且在将来的版本中也可能会更改.

即使压缩级别相同,您仍可能会遇到差异,因为gzip基于LZ77和Huffman编码,它使用基于频率(概率)的树来决定输出代码,如果不同的输入字符或位模式具有相同的频率,分配的代码可能在它们之间变化,而且多个输出位模式可能具有相同的长度,因此可以选择不同的一个.

如果你想要相同的输出,唯一的方法是(见下面的注释!)使用0压缩级别(根本不压缩).在Go中使用压缩级别gzip.NoCompression,在Java中使用Deflater.NO_COPMRESSION.

Java的:

GZIPOutputStream gzip = new GZIPOutputStream(localByteArrayOutputStream) {
    {
        def.setLevel(Deflater.NO_COMPRESSION);
    }
};

走:

gz, err := gzip.NewWriterLevel(gzSizeBf, gzip.NoCompression)

但我不担心不同的产出.Gzip是一个标准,即使输出不相同,您仍然可以使用任何用于压缩数据的gzip解码器解压缩输出,并且解码的数据将完全相同.

以下是简化的扩展版本:

并不重要,但你的代码是不必要的复杂.您可以像这样简化它们(这些版本还包括设置0压缩级别和转换负Java byte值):

Java版本:

ByteArrayOutputStream buf = new ByteArrayOutputStream();
GZIPOutputStream gz = new GZIPOutputStream(buf) {
    { def.setLevel(Deflater.NO_COMPRESSION); }
};
gz.write("helloworld".getBytes("UTF-8"));
gz.close();
for (byte b : buf.toByteArray())
    System.out.print((b & 0xff) + " ");

去版:

var buf bytes.Buffer
gz, _ := gzip.NewWriterLevel(&buf, gzip.NoCompression)
gz.Write([]byte("helloworld"))
gz.Close()
fmt.Println(buf.Bytes())

笔记:

gzip格式允许在输出中包含一些额外的字段(标题).

在Go中,这些由gzip.Header类型表示:

type Header struct {
    Comment string    // comment
    Extra   []byte    // "extra data"
    ModTime time.Time // modification time
    Name    string    // file name
    OS      byte      // operating system type
}

它可以通过Writer.Headerstruct字段访问.Go设置并插入它们,而Java 则没有(将标题字段保留为零).因此,即使您在两种语言中将压缩级别设置为0,输出也不会相同(但"压缩"数据将在两个输出中匹配).

遗憾的是,标准Java没有提供设置/添加这些字段的方法/接口,而Go不会使其填充Header输出中的字段是可选的,因此您将无法生成精确的输出.

一个选项是使用支持设置这些字段的第三方GZip库.Apache Commons Compress就是这样一个例子,它包含一个GzipCompressorOutputStream类,它有一个允许GzipParameters实例传递的构造函数.这GzipParameters是gzip.Header结构的等价物.只有使用它才能生成准确的输出.

但如上所述,生成精确输出没有实际价值.

Answer 2

从RFC 1952开始,GZip文件头的结构如下:

+---+---+---+---+---+---+---+---+---+---+
|ID1|ID2|CM |FLG|     MTIME     |XFL|OS | (more-->)
+---+---+---+---+---+---+---+---+---+---+

看看你提供的输出,我们有:

                          |    Java |          Go
ID1                       |      31 |          31
ID2                       |     139 |         139
CM (compression method)   |       8 |           8
FLG (flags)               |       0 |           0
MTIME (modification time) | 0 0 0 0 | 0 9 110 136
XFL (extra flags)         |       0 |           0
OS (operating system)     |       0 |         255

因此我们可以看到Go正在设置标头的修改时间字段,并将操作系统设置为255(未知)而不是0(FAT文件系统).在其他方面,它们表明文件以相同的方式压缩.

通常,这些差异是无害的.如果要确定两个压缩文件是否相同,那么您应该真正比较文件的解压缩版本.