如何在 http 下载上实现不活动超时

Question

我一直在阅读 http 请求上可用的各种超时，它们似乎都充当请求总时间的硬性截止日期。

我正在运行 http 下载，我不想在初始握手之后实现硬超时，因为我对用户连接一无所知，并且不想在慢速连接上超时。我理想的情况是在一段时间不活动后超时（当 x 秒内没有下载任何内容时）。有什么方法可以将其作为内置功能来执行此操作，还是我必须根据声明文件来中断？

工作代码有点难以隔离，但我认为这些是相关部分，还有另一个循环统计文件以提供进度，但我需要重构一点才能使用它来中断下载：

// httspClientOnNetInterface returns an http client using the named network interface, (via proxy if passed)
func HttpsClientOnNetInterface(interfaceIP []byte, httpsProxy *Proxy) (*http.Client, error) {

    log.Printf("Got IP addr : %s\n", string(interfaceIP))
    // create address for the dialer
    tcpAddr := &net.TCPAddr{
        IP: interfaceIP,
    }

    // create the dialer & transport
    netDialer := net.Dialer{
        LocalAddr: tcpAddr,
    }

    var proxyURL *url.URL
    var err error

    if httpsProxy != nil {
        proxyURL, err = url.Parse(httpsProxy.String())
        if err != nil {
            return nil, fmt.Errorf("Error parsing proxy connection string: %s", err)
        }
    }

    httpTransport := &http.Transport{
        Dial:  netDialer.Dial,
        Proxy: http.ProxyURL(proxyURL),
    }

    httpClient := &http.Client{
        Transport: httpTransport,
    }

    return httpClient, nil
}

/*
StartDownloadWithProgress will initiate a download from a remote url to a local file,
providing download progress information
*/
func StartDownloadWithProgress(interfaceIP []byte, httpsProxy *Proxy, srcURL, dstFilepath string) (*Download, error) {

    // start an http client on the selected net interface
    httpClient, err := HttpsClientOnNetInterface(interfaceIP, httpsProxy)
    if err != nil {
        return nil, err
    }

    // grab the header
    headResp, err := httpClient.Head(srcURL)
    if err != nil {
        log.Printf("error on head request (download size): %s", err)
        return nil, err
    }

    // pull out total size
    size, err := strconv.Atoi(headResp.Header.Get("Content-Length"))
    if err != nil {
        headResp.Body.Close()
        return nil, err
    }
    headResp.Body.Close()

    errChan := make(chan error)
    doneChan := make(chan struct{})

    // spawn the download process
    go func(httpClient *http.Client, srcURL, dstFilepath string, errChan chan error, doneChan chan struct{}) {
        resp, err := httpClient.Get(srcURL)
        if err != nil {
            errChan <- err
            return
        }
        defer resp.Body.Close()

        // create the file
        outFile, err := os.Create(dstFilepath)
        if err != nil {
            errChan <- err
            return
        }
        defer outFile.Close()

        log.Println("starting copy")
        // copy to file as the response arrives
        _, err = io.Copy(outFile, resp.Body)

        // return err
        if err != nil {
            log.Printf("\n Download Copy Error: %s \n", err.Error())
            errChan <- err
            return
        }

        doneChan <- struct{}{}

        return
    }(httpClient, srcURL, dstFilepath, errChan, doneChan)

    // return Download
    return (&Download{
        updateFrequency: time.Microsecond * 500,
        total:           size,
        errRecieve:      errChan,
        doneRecieve:     doneChan,
        filepath:        dstFilepath,
    }).Start(), nil
}

更新 感谢所有对此提出意见的人。

我已经接受了 JimB 的答案，因为它似乎是一种完全可行的方法，比我选择的解决方案更通用（并且可能对在这里找到方法的任何人更有用）。

就我而言，我已经有一个循环监视文件大小，因此当它在 x 秒内没有改变时，我抛出了一个命名错误。对我来说，通过现有的错误处理来发现指定的错误并从那里重试下载要容易得多。

我可能会用我的方法在后台使至少一个 goroutine 崩溃（稍后我可能会通过一些信号来修复此问题），但由于这是一个运行时间较短的应用程序（它是一个安装程序），所以这是可以接受的（至少是可以容忍的）

Answer 1

手动进行复制并不是特别困难。如果您不确定如何正确实现它，只需从 io 包中复制和修改几十行即可满足您的需求（我只删除了该子句ErrShortWrite，因为我们可以假设 std 库 io.Writer 实现是正确的）

这是一个类似复制工作的函数，它也采用取消上下文和空闲超时参数。每次成功读取时，它都会向取消 Goroutine 发出信号以继续并启动新的计时器。

func idleTimeoutCopy(dst io.Writer, src io.Reader, timeout time.Duration,
    ctx context.Context, cancel context.CancelFunc) (written int64, err error) { 
    read := make(chan int)
    go func() {
        for {
            select {
            case <-ctx.Done():
                return
            case <-time.After(timeout):
                cancel()
            case <-read:
            }
        }
    }()

    buf := make([]byte, 32*1024)
    for {
        nr, er := src.Read(buf)
        if nr > 0 {
            read <- nr
            nw, ew := dst.Write(buf[0:nr])
            written += int64(nw)
            if ew != nil {
                err = ew
                break
            }
        }
        if er != nil {
            if er != io.EOF {
                err = er
            }
            break
        }
    }
    return written, err
}

虽然我使用的time.After是简洁性，但重用Timer. 这意味着要小心使用正确的重置模式，因为函数的返回值Reset已损坏：

    t := time.NewTimer(timeout)
    for {
        select {
        case <-ctx.Done():
            return
        case <-t.C:
            cancel()
        case <-read:
            if !t.Stop() {
                <-t.C
            }
            t.Reset(timeout)
        }
    }

您可以在这里完全跳过调用Stop，因为在我看来，如果计时器在调用 Reset 时触发，那么无论如何它都足够接近取消，但通常最好让代码符合习惯，以防将来扩展此代码。