找出从 S3 for Java 下载的压缩文件的 MIME 类型

Question

客户端应该将压缩文件上传到 S3 文件夹中。然后下载并解压缩压缩文件以对其包含的文件执行各种操作。最初我们告诉客户将其文件压缩成ZIP文件，但事实证明这对我们的客户来说太困难了。相反，它提交了一个带有 ZIP 扩展名的RAR文件……多么聪明啊。由于显而易见的原因，人们无法使用ZIP解压缩算法来解压缩RAR文件。

因此，鉴于我正在 Linux 操作系统上使用 Amazon SDK 开发 Java 项目，我正在寻找一种方法来找出 S3 下载文件的文件类型。我将根据获得的文件类型来处理如何解压缩文件。

我已经研究过许多堆栈溢出问题，例如这个问题，但仅通过查看它们（及其注释），似乎没有一个问题是 100% 有效的。

找出压缩文件类型的最佳方法是什么？

Answer 1

TL;博士;

当以编程方式将文件上传到 Amazon S3 时，可以指定对象的Content-Type. 如果没有指定任何内容，正如 @Michael-bot 所阐明的那样，默认分配的值将为binary/octet-stream。或者，如果决定通过 Amazon S3 的 GUI 上传文件，该文件会Content-Type从文件扩展名中获取文件（遗憾的是，不是其内容）。如果您可以相信上传文件的人能够Content-Type正确设置，请继续查看ObjectMetadata，但如果您不能（像我一样），则需要另一个解决方案。

因此，如果您正在寻找适用于最常见文件压缩类型的解决方案，Files.probeContentType、Apache Tika和SimpleMagic似乎是可以接受的解决方案。

最后我选择了它Files.probeContentType，因为它不需要额外的库，并且在 Linux 机器上运行得很好（只要文件没有错误的扩展名，对此有一个解决方法：删除文件扩展名并让它发挥其魔力）。

测试设置

一开始人们会认为从 Amazon 的 S3 下载文件时的响应对象包含文件类型。它确实包含这些信息，但是当文件的扩展名与其内容不匹配时就会出现问题。

import com.amazonaws.services.s3.model.S3Object;

final S3Object s3Object = ...;
final String contentType = s3Object.getObjectMetadata().getContentType();

这段代码将返回application/zip即使文件的内容是 Rar 文件，所以这个解决方案对我不起作用。

因此，我花时间构建了一个示例项目，使用不同的方法和可用的库测试了各种场景。我正在使用Java 8顺便说一句，

测试的文件类型有：

• 带 Zip 扩展名和不带扩展名的 Zip 文件
• 带有 Rar 扩展名、Zip 扩展名和不带扩展名的 Rar 文件
• 带有 7z 扩展名、Zip 扩展名和不带扩展名的 7z 文件
• 带有 Tar.xz 扩展名、Zip 扩展名和不带扩展名的 Tar.xz
• 带有 Tar.gz 扩展名、Zip 扩展名和不带扩展名的 Tar.gz

请注意，此处介绍的实现仅用于测试目的。它们不以任何方式被认可在生产代码中使用，因为它们没有考虑文件锁定问题以及我的想象力懒得考虑的其他问题。=)

Mimetypes文件类型映射

执行

import java.io.File;
import javax.activation.MimetypesFileTypeMap;

final File file = new File(basePath + "/" + fileName);
try {
    return MimetypesFileTypeMap.getDefaultFileTypeMap().getContentType(file);
} catch (final Exception exception) {
    return "<EXCEPTION: " + exception.getMessage() + ">";
}

结果

Rar with Rar extension is:       application/octet-stream
Rar with Zip extension is:       application/octet-stream
Zip with Zip extension is:       application/octet-stream
7z with 7z extension is:         application/octet-stream
7z with Zip extension is:        application/octet-stream
Tar.xz with Tar.xz extension is: application/octet-stream
Tar.xz with Zip extension is:    application/octet-stream
Tar.gz with Tar.gz extension is: application/octet-stream
Tar.gz with Zip extension is:    application/octet-stream
Rar without extension is:        application/octet-stream
Zip without extension is:        application/octet-stream
7z without extension is:         application/octet-stream
Tar.xz without extension is:     application/octet-stream
Tar.gz without extension is:     application/octet-stream

结论

当无法识别文件类型时，此方法返回的值为application/octet-stream。似乎所有场景都失败了，所以我们应该放弃这种方法。

URLConnection.guessContentTypeFromStream

执行

import java.io.File;
import java.io.FileInputStream;
import java.io.InputStream;
import java.io.BufferedInputStream;
import java.net.URLConnection;

final File file = new File(basePath + "/" + fileName);
try {
    final FileInputStream fileInputStream = new FileInputStream(file);
    final InputStream inputStream = new BufferedInputStream(fileInputStream);

    return URLConnection.guessContentTypeFromStream(inputStream);
} catch (final Exception exception) {
    return "<EXCEPTION: " + exception.getMessage() + ">";
}

结果

Rar with Rar extension is:       null
Rar with Zip extension is:       null
Zip with Zip extension is:       null
7z with 7z extension is:         null
7z with Zip extension is:        null
Tar.xz with Tar.xz extension is: null
Tar.xz with Zip extension is:    null
Tar.gz with Tar.gz extension is: null
Tar.gz with Zip extension is:    null
Rar without extension is:        null
Zip without extension is:        null
7z without extension is:         null
Tar.xz without extension is:     null
Tar.gz without extension is:     null

结论

同样，此方法在所有情况下都失败。看来它的支持非常有限。

文件.probeContentType

执行

import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;

try {
    final Path path = Paths.get(basePath + "/" + fileName);
    return Files.probeContentType(path);
} catch (final Exception exception) {
    return "<EXCEPTION: " + exception.getMessage() + ">";
}

结果

Rar with Rar extension is:       application/vnd.rar
Rar with Zip extension is:       application/zip
Zip with Zip extension is:       application/zip
7z with 7z extension is:         application/x-7z-compressed
7z with Zip extension is:        application/zip
Tar.xz with Tar.xz extension is: application/x-xz-compressed-tar
Tar.xz with Zip extension is:    application/zip
Tar.gz with Tar.gz extension is: application/x-compressed-tar
Tar.gz with Zip extension is:    application/zip
Rar without extension is:        application/vnd.rar
Zip without extension is:        application/zip
7z without extension is:         application/x-7z-compressed
Tar.xz without extension is:     application/x-xz
Tar.gz without extension is:     application/gzip

结论

这种方法的效果出奇的好，但不要被愚弄了，在某些情况下它会一直失败。如果文件的扩展名错误（与内容不匹配的扩展名），它将报告文件类型为扩展名。这种情况不应该经常发生，但如果一个人非常挑剔，则不应使用此方法。

另外，一些人警告说他的方法在 Windows 中效果不佳。

解决方法：如果设法从文件名中删除扩展名，这将为所有给定场景返回正确的值。

Apache Tika（tika-评估 1.18）

这个库似乎有很多风格（应用程序、服务器、eval 等），但网络上的许多人抱怨它有点“依赖严重”。

执行

import org.apache.tika.Tika;

try {
    return new Tika().detect(new File(basePath + "/" + fileName));
} catch (final Exception exception) {
    return "<EXCEPTION: " + exception.getMessage() + ">";
}

结果

Rar with Rar extension is:       application/x-rar-compressed
Rar with Zip extension is:       application/x-rar-compressed
Zip with Zip extension is:       application/zip
7z with 7z extension is:         application/x-7z-compressed
7z with Zip extension is:        application/x-7z-compressed
Tar.xz with Tar.xz extension is: application/x-xz
Tar.xz with Zip extension is:    application/x-xz
Tar.gz with Tar.gz extension is: application/gzip
Tar.gz with Zip extension is:    application/gzip
Rar without extension is:        application/x-rar-compressed
Zip without extension is:        application/zip
7z without extension is:         application/x-7z-compressed
Tar.xz without extension is:     application/x-xz
Tar.gz without extension is:     application/gzip

结论

所有文件都被正确识别，但它有其优点，也有其缺点。

优点：

• 由阿帕奇维护。
• 不会被扩展所迷惑。

缺点：

• 真的很重，特别是如果只想检查文件类型的话。Tika-eval Jar 重量 +40MB。

URL连接

执行

import java.net.URL;
import java.net.URLConnection;

try {
    final URL url = new URL("file://" + basePath + "/" + fileName);
    final URLConnection urlConnection = url.openConnection();
    return urlConnection.getContentType();
} catch (final Exception exception) {
    return "<EXCEPTION: " + exception.getMessage() + ">";
}

结果

Rar with Rar extension is:       content/unknown
Rar with Zip extension is:       application/zip
Zip with Zip extension is:       application/zip
7z with 7z extension is:         content/unknown
7z with Zip extension is:        application/zip
Tar.xz with Tar.xz extension is: content/unknown
Tar.xz with Zip extension is:    application/zip
Tar.gz with Tar.gz extension is: application/octet-stream
Tar.gz with Zip extension is:    application/zip
Rar without extension is:        content/unknown
Zip without extension is:        content/unknown
7z without extension is:         content/unknown
Tar.xz without extension is:     content/unknown
Tar.gz without extension is:     content/unknown

结论

它几乎无法识别任何文件压缩格式，并通过扩展名而不是其内容来引导自己。

简单魔法 1.14

这个项目似乎每年至少更新一次。

执行

import com.j256.simplemagic.ContentInfo;
import com.j256.simplemagic.ContentInfoUtil;

try {
    final ContentInfoUtil util = new ContentInfoUtil();
    final ContentInfo info = util.findMatch(basePath + "/" + fileName);

    return info.getMimeType();
} catch (final Exception exception) {
    return "<EXCEPTION: " + exception.getMessage() + ">";
}

结果

Rar with Rar extension is:       application/x-rar
Rar with Zip extension is:       application/x-rar
Zip with Zip extension is:       application/zip
7z with 7z extension is:         application/x-7z-compressed
7z with Zip extension is:        application/x-7z-compressed
Tar.xz with Tar.xz extension is: <EXCEPTION: null>
Tar.xz with Zip extension is:    <EXCEPTION: null>
Tar.gz with Tar.gz extension is: application/x-gzip
Tar.gz with Zip extension is:    application/x-gzip
Rar without extension is:        application/x-rar
Zip without extension is:        application/zip
7z without extension is:         application/x-7z-compressed
Tar.xz without extension is:     <EXCEPTION: null>
Tar.gz without extension is:     application/x-gzip

结论

它几乎适用于我们所有的场景，但似乎对于像 Tar.xz 这样最“晦涩”的压缩格式，它无法检测到它们（并在此过程中抛出异常）。

MimeUtil 2.1.3

该项目自 2010 年以来未进行任何修改，因此不要期望获得支持或更新。只是为了完整起见，将其列在这里。

执行

import eu.medsea.mimeutil.MimeUtil2;

try {
    final MimeUtil2 mimeUtil = new MimeUtil2();
        mimeUtil.registerMimeDetector("eu.medsea.mimeutil.detector.MagicMimeMimeDetector");

    return MimeUtil2.getMostSpecificMimeType(mimeUtil.getMimeTypes(basePath + "/" + fileName)).toString();
} catch (final Exception exception) {
    return "<EXCEPTION: " + exception.getMessage() + ">";
}

结果

Rar with Rar extension is:       application/x-rar
Rar with Zip extension is:       application/x-rar
Zip with Zip extension is:       application/zip
7z with 7z extension is:         application/octet-stream
7z with Zip extension is:        application/octet-stream
Tar.xz with Tar.xz extension is: application/octet-stream
Tar.xz with Zip extension is:    application/octet-stream
Tar.gz with Tar.gz extension is: application/x-gzip
Tar.gz with Zip extension is:    application/x-gzip
Rar without extension is:        application/x-rar
Zip without extension is:        application/zip
7z without extension is:         application/octet-stream
Tar.xz without extension is:     application/octet-stream
Tar.gz without extension is:     application/x-gzip

结论

它可以识别一些最流行的文件类型，但无法识别 Tar.xz 和 7z。

文件 - 命令行

这不是最漂亮的解决方案，但必须尝试：Ubuntu file command。

执行

import java.io.BufferedReader;
import java.io.InputStreamReader;

try {
    final Process process = Runtime.getRuntime().exec("file --mime-type " + basePath + "/" + fileName);

    final BufferedReader stdInput = new BufferedReader(new InputStreamReader(process.getInputStream()));

    String text = "";

    String s;
    while ((s = stdInput.readLine()) != null) {
        text += s;
    }

    return text.split(": ")[1];
} catch (final Exception exception) {
    return "<EXCEPTION: " + exception.getMessage() + ">";
}

结果

Rar with Rar extension is:       application/x-rar
Rar with Zip extension is:       application/x-rar
Zip with Zip extension is:       application/zip
7z with 7z extension is:         application/x-7z-compressed
7z with Zip extension is:        application/x-7z-compressed
Tar.xz with Tar.xz extension is: application/x-xz
Tar.xz with Zip extension is:    application/x-xz
Tar.gz with Tar.gz extension is: application/gzip
Tar.gz with Zip extension is:    application/gzip
Rar without extension is:        application/x-rar
Zip without extension is:        application/zip
7z without extension is:         application/x-7z-compressed
Tar.xz without extension is:     application/x-xz
Tar.gz without extension is:     application/gzip

结论

File它适用于我们的所有场景，但同样，这依赖于运行代码的系统上存在的命令。