如果使用Gzip类压缩,如何添加文件名到存档？

Question

我在加密之前使用Gzip来压缩数据.

Gzip gz;
gz.Put(file,size)
gz.MessageEnd();
gz.Get(file,gz.MaxRetrievable());

我希望创建的gzip文件包含原始文件名作为元数据.我如何通过Crypto ++界面执行此操作？

Answer 1

我希望创建的gzip文件包含原始文件名作为元数据.我如何通过Crypto ++界面执行此操作？

你不能开箱即用.它似乎是Crypto ++的限制.(但见下文).

从RFC 1952开始,显然有一个领域:

  (if FLG.FNAME set)

     +=========================================+
     |...original file name, zero-terminated...| (more-->)
     +=========================================+

但是Crypto ++不允许你设置它(来自gzip.c源代码):

void Gzip::WritePrestreamHeader()
{
    m_totalLen = 0;
    m_crc.Restart();

    AttachedTransformation()->Put(MAGIC1);
    AttachedTransformation()->Put(MAGIC2);
    AttachedTransformation()->Put(DEFLATED);
    AttachedTransformation()->Put(0);       // general flag
    AttachedTransformation()->PutWord32(0); // time stamp
    byte extra = (GetDeflateLevel() == 1) ? FAST : ((GetDeflateLevel() == 9) ? SLOW : 0);
    AttachedTransformation()->Put(extra);
    AttachedTransformation()->Put(GZIP_OS_CODE);
}

而Crypto ++在解压缩时(如果Gunzip是GZIP解压缩程序)(来自gzip.c源代码)静默丢弃它:

void Gunzip::ProcessPrestreamHeader()
{
    ...

    if (flags & EXTRA_FIELDS)   // skip extra fields
    {
        word16 length;
        if (m_inQueue.GetWord16(length, LITTLE_ENDIAN_ORDER) != 2) throw HeaderErr();
        if (m_inQueue.Skip(length)!=length) throw HeaderErr();
    }

    if (flags & FILENAME)   // skip filename
        do
            if(!m_inQueue.Get(b)) throw HeaderErr();
        while (b);

    if (flags & COMMENTS)   // skip comments
        do
            if(!m_inQueue.Get(b)) throw HeaderErr();
        while (b);
}

你是我记得在大约15年内第一个要求它的人,所以它不是一个受欢迎的请求:)

以下是如何修改源以添加文件时间,文件名和注释.您可以在Crypto ++维基页面上找到Gzip和Gunzip的补丁.您可以在Diffbin上找到用于Crypto ++ gzip的 Pastebin上的SVN diff以进行文件名和注释处理.fles大致相同,但wiki更新,因为它有一些重置代码Gzip::WritePoststreamTail.

首先,将以下受保护的成员添加到Gzip和Gunzip类:

word32 m_filetime;
std::string m_filename;
std::string m_comment;

其次,m_filetime为每个构造函数添加初始化程序(两者Gzip和Gunzip).例如,这里有一个Gzipctors:

Gzip(const NameValuePairs &parameters, BufferedTransformation *attachment=NULL)
    : Deflator(parameters, attachment), m_filetime(0) {}

第三,将公共制定者添加到Gzip班级:

void SetFiletime(word32 filetime) { m_filetime = filetime; }
void SetFilename(const std::string& filename) { m_filename = filename; }
void SetComment(const std::string& comment) { m_comment = comment; }

第四,将公共吸气剂添加到Gunzip班级:

word32 GetFiletime() const { return m_filetime; }
const std::string& GetFilename() const { return m_filename; }
const std::string& GetComment() const { return m_comment; }

五,Gzip::WritePrestreamHeader在cpp文件中更改为以下内容:

void Gzip::WritePrestreamHeader()
{
    m_totalLen = 0;
    m_crc.Restart();

    int flags = 0;
    if(!m_filename.empty())
        flags |= FILENAME;
    if(!m_comment.empty())
        flags |= COMMENTS;

    AttachedTransformation()->Put(MAGIC1);
    AttachedTransformation()->Put(MAGIC2);
    AttachedTransformation()->Put(DEFLATED);
    AttachedTransformation()->Put((byte)flags);    // general flag
    AttachedTransformation()->PutWord32(m_filetime, LITTLE_ENDIAN_ORDER);    // time stamp

    byte extra = (GetDeflateLevel() == 1) ? FAST : ((GetDeflateLevel() == 9) ? SLOW : 0);
    AttachedTransformation()->Put(extra);        
    AttachedTransformation()->Put(GZIP_OS_CODE);

    if(!m_filename.empty())
        AttachedTransformation()->Put((const unsigned char*)m_filename.data(), m_filename.size() +1);

    if(!m_comment.empty())
        AttachedTransformation()->Put((const unsigned char*)m_comment.data(), m_comment.size() +1);
}

六,Gzip::WritePoststreamTail在cpp文件中更改为以下内容:

void Gzip::WritePoststreamTail()
{
    SecByteBlock crc(4);
    m_crc.Final(crc);
    AttachedTransformation()->Put(crc, 4);
    AttachedTransformation()->PutWord32(m_totalLen, LITTLE_ENDIAN_ORDER);

    m_filetime = 0;

    m_filename.erase(0);
    m_filename.reserve(16);

    m_comment.erase(0);
    m_comment.reserve(32);
}

第七,Gunzip::ProcessPrestreamHeader在cpp文件中更改为以下内容:

void Gunzip::ProcessPrestreamHeader()
{
    m_length = 0;
    m_crc.Restart();

    m_filetime = 0;

    m_filename.erase(0);
    m_filename.reserve(16);

    m_comment.erase(0);
    m_comment.reserve(32);

    byte buf[6];
    byte b, flags;

    if (m_inQueue.Get(buf, 2)!=2) throw HeaderErr();
    if (buf[0] != MAGIC1 || buf[1] != MAGIC2) throw HeaderErr();
    if (!m_inQueue.Get(b) || (b != DEFLATED)) throw HeaderErr();     // skip CM flag
    if (!m_inQueue.Get(flags)) throw HeaderErr();
    if (flags & (ENCRYPTED | CONTINUED)) throw HeaderErr();
    if (m_inQueue.GetWord32(m_filetime, LITTLE_ENDIAN_ORDER) != 4) throw HeaderErr();
    if (m_inQueue.Skip(2)!=2) throw HeaderErr();    // Skip extra flags and OS type

    if (flags & EXTRA_FIELDS)   // skip extra fields
    {
        word16 length;
        if (m_inQueue.GetWord16(length, LITTLE_ENDIAN_ORDER) != 2) throw HeaderErr();
        if (m_inQueue.Skip(length)!=length) throw HeaderErr();
    }

    if (flags & FILENAME)   // extract filename
    {
        do
        {
            if(!m_inQueue.Get(b)) throw HeaderErr();
            if(b) m_filename.append( 1, (char)b );
        }
        while (b);
    }

    if (flags & COMMENTS)   // extract comments
    {
        do
        {
            if(!m_inQueue.Get(b)) throw HeaderErr();
            if(b) m_comment.append( 1, (char)b );
        }
        while (b);
    }
}

以下是如何使用它:

try {

    Gzip zipper(new FileSink("gzip-test.gz", true));
    zipper.SetFilename("test-filename.txt");
    zipper.SetComment("This is a test of filenames and comments");

    string data = "abcdefghijklmnopqrstuvwxyz";
    zipper.Put( (unsigned char*) data.c_str(), data.size());
    zipper.MessageEnd();        
}
catch(CryptoPP::Exception& ex)
{
    cerr << ex.what() << endl;
}

压缩文件名是gzip-test.gz.标题中的原始文件名字段是test-filename.txt,标题中的注释是This is a test of filenames and comments.

您可以使用十六进制编辑器查看它的运行情况:

以下是gzip -d在Mac OS X上使用和默认存档提取器实际操作的方法:嵌入的文件名被忽略,文件使用存档文件名减去gz扩展名保存:

我不知道这是否是预期的行为,因为文件名成员与保留不支持它们的文件系统上的长文件名有关.

关于超级用户的行为有一个悬而未决的问题:Gzip是否应该尊重解压缩的原始文件名？.

编辑:感谢Simon在超级用户上,必须使用gunzip -N <gz-file>在标题中隐藏的原始文件名来提取.

为了完整起见,这是将存档写入内存中字符串而不是磁盘文件时往返的样子.

string s1, s2;
string data = "abcdefghijklmnopqrstuvwxyz";

Gzip zipper(new StringSink(s1));
zipper.SetFilename("test-filename.txt");
zipper.SetComment("This is a test of filenames and comments");

zipper.Put( (unsigned char*) data.c_str(), data.size());
zipper.MessageEnd();

Gunzip unzipper(new StringSink(s2));
unzipper.Put( (unsigned char*) s1.data(), s1.size());
unzipper.MessageEnd();

cout << "Filename: " << unzipper.GetFilename() << endl;
cout << "Comment: " << unzipper.GetComment() << endl;
cout << "Data: " << s2 << endl;

它产生预期的结果.

上面的修改有一个重要的警告.当存档包含单个文件时,mod可以很好地工作.但是如果流包含多个文件,则仅为最后一个文件流提供文件时间,文件名和注释.如果它们在最后一个文件流中丢失,那么它们在getter中将为空.

限制的原因与Crypto ++管道的架构方式有关.在Crypto ++中,每个流都被视为一条消息.您可以调用NextMessage()并返回流中的字节.但是流是解压缩字节的集合,而不是可以容纳额外字段的更高级别结构.

我很确定它的修复是非常重要的.我认为这意味着Gzip压缩器Gunzip和解压缩器将需要添加通道,以便您可以检索其他数据,例如从Authenticated Encryption过滤器检索密文(DEFAULT_CHANNEL)或身份验证标签(AAD_CHANNEL)的方式.