为什么Golang http.ResponseWriter执行被延迟？

Question

我正在尝试在收到请求后立即发送页面响应,然后处理一些内容,但我发现响应不会"先发送",即使它是代码序列中的第一个.在现实生活中我有一个页面用于上传一个excel表,它被保存到数据库中,需要花费时间(50,0000多行),并希望更新到用户进度.这是一个简化的例子; (根据你有多少RAM你可能需要添加几个零来计数器来查看结果)

package main

import (
    "fmt"
    "net/http"
)

func writeAndCount(w http.ResponseWriter, r *http.Request) {
    w.Write([]byte("Starting to count"))

    for i := 0; i < 1000000; i++ {

        if i%1000 == 0 {
            fmt.Println(i)
        }
    }
    w.Write([]byte("Finished counting"))

}

func main() {
    http.HandleFunc("/", writeAndCount)
    http.ListenAndServe(":8080", nil)

}

Answer 1

您可以检查是否ResponseWriter为a http.Flusher,如果是,则强制刷新到网络:

if f, ok := w.(http.Flusher); ok {
    f.Flush()
}

但是,请记住,这是一个非常规的HTTP处理程序.将进度消息流式传输到响应就好像它是一个终端会出现一些问题,特别是如果客户端是Web浏览器.

您可能希望考虑更符合HTTP性质的内容,例如202 Accepted立即返回响应,使用唯一标识符,客户端可以使用该标识符来检查使用后续API调用的处理状态.

Answer 2

HTTP 协议的最初概念是一个简单的请求-响应服务器-客户端计算模型。没有流媒体或“连续”客户端更新支持。如果它需要某种信息，它总是首先联系服务器的客户端。

此外，由于大多数 Web 服务器缓存响应直到它完全准备好（或达到某个限制 - 通常是缓冲区大小），您写入（发送）到客户端的数据不会立即传输。

“开发”了几种技术来解决这个“限制”，以便服务器能够通知客户端有关更改或进度的信息，例如 HTTP 长轮询、HTTP 流、HTTP/2 服务器推送或 Websockets。您可以在此答案中阅读有关这些内容的更多信息：Is there a real server push over http?

所以要实现你想要的，你必须绕过HTTP协议的原始“边界”。

如果您想定期发送数据，或将数据流式传输到客户端，则必须将其告知服务器。最简单的方法是检查http.ResponseWriter交给您的对象是否实现了http.Flusher接口（使用类型断言），如果是，则调用其Flusher.Flush()方法会将任何缓冲数据发送到客户端。

使用http.Flusher只是解决方案的一半。由于这是 HTTP 协议的非标准用法，通常还需要客户端支持来正确处理此问题。

首先，您必须通过设置ContentType=text/event-stream响应标头让客户端了解响应的“流式”性质。

接下来，为避免客户端缓存响应，请务必同时设置Cache-Control=no-cache.

最后，为了让客户端知道您可能不会将响应作为单个单元发送（而是作为定期更新或作为流），以便客户端应该保持连接活动并等待更多数据，请设置Connection=keep-alive响应标头.

一旦响应头设置如上，你就可以开始你漫长的工作了，每当你想更新客户端的进度时，写一些数据并调用Flusher.Flush().

让我们看一个简单的例子，它做的一切都是“正确的”：

func longHandler(w http.ResponseWriter, r *http.Request) {
    flusher, ok := w.(http.Flusher)
    if !ok {
        http.Error(w, "Server does not support Flusher!",
            http.StatusInternalServerError)
        return
    }

    w.Header().Set("Content-Type", "text/event-stream")
    w.Header().Set("Cache-Control", "no-cache")
    w.Header().Set("Connection", "keep-alive")

    start := time.Now()
    for rows, max := 0, 50*1000; rows < max; {
        time.Sleep(time.Second) // Simulating work...
        rows += 10 * 1000
        fmt.Fprintf(w, "Rows done: %d (%d%%), elapsed: %v\n",
            rows, rows*100/max, time.Since(start).Truncate(time.Millisecond))
        flusher.Flush()
    }
}

func main() {
    http.HandleFunc("/long", longHandler)
    panic(http.ListenAndServe("localhost:8080", nil))
}

现在，如果您http://localhost:8080/long在浏览器中打开，您将看到每秒“增长”的输出：

Rows done: 10000 (20%), elapsed: 1s
Rows done: 20000 (40%), elapsed: 2s
Rows done: 30000 (60%), elapsed: 3s
Rows done: 40000 (80%), elapsed: 4.001s
Rows done: 50000 (100%), elapsed: 5.001s

另请注意，在使用 SSE 时，您应该将更新“打包”到 SSE 帧中，即您应该以"data:"前缀开始它们，并以 2 个换行符结束每个帧："\n\n".

“文学”和进一步阅读/教程

在 Wikipedia 上阅读有关服务器发送事件的更多信息。

请参阅Golang HTML5 SSE 示例。

请参阅使用它的客户端代码的 Golang SSE 服务器示例。

请参阅 w3school.com 关于服务器发送事件 - 单向消息传递的 turorial 。