TCP/HTTPS 能否保证文件上传/下载的完整性?

Mar*_*oma 4 tcp protocols integrity

假设我想将文件上传到网络服务器。甚至可能是一个相当大的文件(例如30 MB)。它是通过典型的文件上传表单完成的(请参阅下面的最小示例)。

现在网络还不完善。我认为可能出现这些类型的错误:

  1. 位翻转可能发生
  2. 包裹可能会丢失
  3. 包裹到达的顺序可能与发送的顺序不同
  4. 一个包裹可能会收到两次

阅读TCP wiki 文章,我明白了

在协议栈的较低级别,由于网络拥塞、流量负载平衡或不可预测的网络行为,IP 数据包可能会丢失、重复或乱序传送。TCP 检测到这些问题,请求重新传输丢失的数据重新排列无序数据,甚至帮助最大限度地减少网络拥塞,以减少其他问题的发生。如果数据仍未传送,则会通知源此失败。一旦 TCP 接收器重新组装了最初传输的八位位组序列,它就会将它们传递给接收应用程序。因此,TCP 从底层网络细节中抽象出了应用程序的通信。

阅读本文后,我发现下载的文件可能损坏的唯一原因是(1)下载后出现问题或(2)连接中断。

我错过了什么吗?为什么提供 Linux 镜像的网站通常也提供 MD5 哈希值?通过 HTTPS(因此也通过 TCP)上传/下载文件的完整性是否得到保证?

最小文件上传示例

HTML:

<!DOCTYPE html>
<html>
<head><title>Upload a file</title></head>
<body>
<form method="post" enctype="multipart/form-data">
    <input name="file" type="file" />
    <input type="submit"/>
</form>
</body>
</html>
Run Code Online (Sandbox Code Playgroud)

Python/烧瓶

"""
Prerequesites:

  $ pip install flask
  $ mkdir uploads
"""

import os
from flask import Flask, flash, request, redirect, url_for
from werkzeug.utils import secure_filename


app = Flask(__name__)
app.config["UPLOAD_FOLDER"] = "uploads"


@app.route("/", methods=["GET", "POST"])
def upload_file():
    if request.method == "POST":
        # check if the post request has the file part
        if "file" not in request.files:
            flash("No file part")
            return redirect(request.url)
        file = request.files["file"]
        # if user does not select file, browser also
        # submit an empty part without filename
        if file.filename == "":
            flash("No selected file")
            return redirect(request.url)
        filename = secure_filename(file.filename)
        file.save(os.path.join(app.config["UPLOAD_FOLDER"], filename))
        return redirect(url_for("upload_file", filename=filename))
    else:
        return """<!DOCTYPE html>
<html>
<head><title>Upload a file</title></head>
<body>
<form method="post" enctype="multipart/form-data">
    <input name="file" type="file" />
    <input type="submit"/>
</form>
</body>
</html>"""
    return "upload handled"


if __name__ == "__main__":
    app.run()

Run Code Online (Sandbox Code Playgroud)

Ste*_*ich 5

TCP/HTTPS 能否保证文件上传/下载的完整性?

简而言之:不。但是使用 HTTPS 比使用普通 TCP 更好。

TCP 仅具有非常弱的错误检测功能,因此它可能会检测到简单的位翻转并丢弃(并重新发送)损坏的数据包 - 但它不会检测更复杂的错误。不过,HTTPS(通过 TLS 层)具有相当可靠的完整性保护,并且传输过程中未检测到的数据损坏基本上是不可能的。

TCP 还具有强大的检测功能,可以防止重复和重新排序。TLS(在 HTTPS 中)对此类数据损坏具有更强大的检测能力。

但当 TCP 连接提前关闭时,例如服务器崩溃,情况就会变得模糊。TCP 本身没有消息指示,因此连接关闭通常用作消息结束指示符。例如,对于 FTP 数据连接来说是这样,但对于 HTTP(以及 HTTPS)也可能如此。虽然 HTTP 通常有一个长度指示符(Content-length标头或显式块大小Transfer-Encoding: chunked),但它也将 TCP 连接的结束定义为消息的结束。如果在声明的消息结束之前到达连接结束,客户端的行为会有所不同:一些客户端会将数据视为已损坏,另一些客户端会假定服务器已损坏(即错误的长度声明)并将连接关闭视为有效的消息结束。

理论上,TLS(在 HTTPS 中)具有明确的 TLS 结束消息(TLS 关闭),这可能有助于检测早期连接关闭。但在实践中,实现可能只是简单地关闭底层套接字,而无需显式关闭 TLS,因此遗憾的是,人们无法完全依赖它。

为什么提供 Linux 镜像的网站通常也提供 MD5 哈希值?

还有另一个失败点:下载的内容可能在下载之前就已损坏。下载站点通常有多个镜像,当将文件发送到下载镜像时,甚至将文件发送到下载主控时,可能会发生损坏。只要校验和是在下载源处创建的,即在数据损坏之前创建的,与下载并行的强校验和有助于检测此类错误。