小编Kiw*_*cer的帖子

限制对HTTP GET请求的响应中读取的数据量

我正在抓取HTML页面,并建立了一个HTTP客户端,如下所示:

client := *http.Client{
        Transport: &http.Transport{
            Dial: (&net.Dialer{
                Timeout:   30 * time.Second,
                KeepAlive: 30 * time.Second,
            }).Dial,
            TLSHandshakeTimeout:   10 * time.Second,
            ResponseHeaderTimeout: 10 * time.Second,
        },
    }
Run Code Online (Sandbox Code Playgroud)

现在,当我发出多个URL的GET请求时,我不想陷入提供大量数据的URL.

response, err := client.Get(page.Url)
checkErr(err)
body, err := ioutil.ReadAll(response.Body)
checkErr(err)
page.Body = string(body)
Run Code Online (Sandbox Code Playgroud)

有没有办法限制GET请求从资源接受的数据量(字节)并停止?

http go

5
推荐指数
1
解决办法
2582
查看次数

标签 统计

go ×1

http ×1