为什么Go HTTPS Client不重用连接？

Question

我有一个http客户端,它创建了与主机的多个连接.我想设置它可以设置到特定主机的最大连接数.在go的请求中没有这样的选项.Transport.我的代码看起来像

package main 

import (
  "fmt"
  "net/http"
  "net/url"
)

const (
  endpoint_url_fmt      = "https://blah.com/api1?%s"
)


func main() {

  transport := http.Transport{ DisableKeepAlives : false }

  outParams := url.Values{}
  outParams.Set("method", "write")
  outParams.Set("message", "BLAH")

  for {
    // Encode as part of URI.
    outboundRequest, err := http.NewRequest(
      "GET",
      fmt.Sprintf(endpoint_url_fmt, outParams.Encode()),
      nil
    )
    outboundRequest.Close = false
    _ , err = transport.RoundTrip(outboundRequest)
    if err != nil {
      fmt.Println(err)
    }
  }

}

我希望这可以创建1个连接.因为我在for循环中调用它.但这会不断创建无限数量的连接.

使用请求库的类似python代码只创建一个连接.

#!/usr/bin/env python
import requests
endpoint_url_fmt      = "https://something.com/restserver.php"
params = {}
params['method'] = 'write'
params['category'] = category_errors_scuba
params['message'] = "blah"
while True:
  r = requests.get(endpoint_url_fmt, params = params)

由于某种原因,go代码不重用http连接.

编辑:go代码需要关闭正文以重用连接.

 resp , err = transport.RoundTrip(outboundRequest)
 resp.Close() //  This allows the connection to be reused

Answer 1

基于OP的进一步澄清.默认客户端确实重用连接.

一定要关闭响应.

呼叫者在完成阅读后应该关闭resp.Body.如果resp.Body未关闭,则客户端的基础RoundTripper(通常为Transport)可能无法重新使用到服务器的持久TCP连接以用于后续"保持活动"请求.

另外,我发现在调用Close()之前我还需要阅读,直到响应完成.

例如

res, _ := client.Do(req)
io.Copy(ioutil.Discard, res.Body)
res.Body.Close()

要确保http.Client连接重用,请务必执行以下两项操作:

• 阅读直到响应完成(即ioutil.ReadAll(resp.Body))
• 呼叫 Body.Close()

旧的答案,对速率限制很有用,但不是OP之后的情况:

我不认为通过golang 1.1 http API设置最大连接.这意味着如果你不小心的话,你可以通过大量的TCP连接(直到用完文件描述符或其他任何东西)射击自己.

也就是说,您可以通过time.Tick 来限制为特定主机(以及因此出站请求和连接)调用go例程的速率.

例如:

import "time"

requests_per_second := 5
throttle := time.Tick(1000000000 / requests_per_second)

for i := 0; i < 16; i += 1 {
  <-throttle  
  go serveQueue()
}