在延迟中关闭 gzip 编写器会导致数据丢失

Question

我使用 golanggzip.NewWriter压缩切片？并defer Close()关闭编写器。但是当从压缩数据中读取时，它会返回unexpected EOF. 代码是：

func main() {

    a := []byte{'a', 'b', 'c', 'd', 'e', 'f'}
    zippedData, err := zipData(a)
    if err != nil {
        panic(err)
    }

    unzippedData, err := unzipData(zippedData)
    if err != nil {
        panic(err)
    }
    fmt.Printf("%v\n", unzippedData)

}

zip 函数是：

func zipData(originData []byte) ([]byte, error) {
    var bf bytes.Buffer
    gw := gzip.NewWriter(&bf)

    defer gw.Close()

    _, err := gw.Write(originData)
    if err != nil {
        return nil, errors.New(fmt.Sprintf("gzip data err: %v", err))
    }

    err = gw.Flush()
    if err != nil {
        return nil, err
    }
    // if I rm 'defer gw.Close()' and call 'gw.Close()' here, it'll be ok

    logs.Debug("before gzip len: %v", len(originData))
    logs.Debug("gzip len: %v", bf.Len())
    return bf.Bytes(), nil
}

以上 zip 函数用于defer gw.Close()关闭 gw。

解压功能是：

func unzipData(zippedData []byte) ([]byte, error) {
    dst := make([]byte, len(zippedData))
    copy(dst, zippedData)

    reader, err := gzip.NewReader(bytes.NewBuffer(dst))
    if err != nil {
        return nil, errors.New(fmt.Sprintf("unzip err :%v", err))
    }

    defer reader.Close()

    data, err := ioutil.ReadAll(reader)
    if err != nil {
        return nil, errors.New(fmt.Sprintf("read err :%v", err))
    }
    return data, err
}

为什么是defer gw.Close()案例unexpected EOF？

Answer 1

使用 defer，您将缺少 gzip 页脚。根据Close文档：

Close 通过将任何未写入的数据刷新到底层 io.Writer 并写入 GZIP 页脚来关闭 Writer。它不会关闭底层 io.Writer。

因此，即使Flush刷新任何缓冲数据，它也不会写入页脚。通过延迟关闭，您将获得不包含页脚的字节数组并将其返回，然后将页脚写入输出。

返回前关闭写入器。