从 api 同时请求数据时的 TLS 握手超时

Question

这是我第一个使用并发的程序，所以我可能会遗漏一些相当简单的东西。

package main

import(
    "net/http"
    "net/url"
    "log"
    "flag"
    "io/ioutil"
    "fmt"
    "golang.org/x/net/html"
    "strings"
    "encoding/json"
    "os"
    "html/template"
)

type fileInfo struct{
    Title string `json:"Title"`;
    Year string `json:"Year"`;
    Runtime string `json:"Runtime"`
    Genre string `json:"Genre"` 
    Rating string `json:"imdbRating"`;
    Description string `json:"Plot"`;
    Image string `json:"Poster"`;
    Awards string `json:"Awards"`;
}

var movie struct{
    Name string;
    Year string;
}
var Movies []fileInfo
func main() {
    flag.Parse()
    files, _ := ioutil.ReadDir(flag.Args()[0])
    var queryNames []string
    for _, f := range files {
        go func(){
            queryNames= append(queryNames,url.QueryEscape(f.Name()))
        }()
    }
    //fmt.Println(os.Getenv("GOPATH") + "/src/github.com/krashcan/review/template/index.tpl")
    fmt.Println("Preparing data")


    for _, f := range queryNames {
        go GetTitleAndYear("https://opensubtitles.co/search?q=" + f)
    }




    fmt.Println("Done")
    http.HandleFunc("/",ShowRatings)
    http.Handle("/static/",http.StripPrefix("/static/",http.FileServer(http.Dir(os.Getenv("GOPATH") + "/src/github.com/krashcan/review/static"))))

    log.Fatal(http.ListenAndServe(":8080",nil))
}

func ShowRatings(w http.ResponseWriter,r *http.Request){
    t,err := template.ParseFiles(os.Getenv("GOPATH") + "/src/github.com/krashcan/review/template/index.tpl")
    if(err!=nil){
        log.Fatal(err)
    }
    t.Execute(w,Movies)
}

func GetTitleAndYear(url string){
    resp,err := http.Get(url)
    if err!=nil{
        log.Fatal(err)
    }
    var movieData string
    if resp.StatusCode != 200 {
        fmt.Println("statuscode",err)
    }
    z := html.NewTokenizer(resp.Body)
    for{
        tt := z.Next()

        if tt == html.ErrorToken{
            return
        }else if tt==html.StartTagToken{
            t:= z.Token()
            if t.Data=="h4"{
                tt = z.Next()
                tt = z.Next()
                tt = z.Next()
                t = z.Token()
                movieData = strings.TrimSpace(t.Data)               
                break
            }
        }
    }

    movie.Name = movieData[:len(movieData)-6]
    movie.Year = movieData[len(movieData)-5:len(movieData)-1]
    movie.Name = strings.Replace(movie.Name, " ", "+", -1)
    url = "http://www.omdbapi.com/?t=" + movie.Name + "&y=" + movie.Year + "&plot=short&r=json"  
    req,err := http.Get(url)

    if err!=nil{
        log.Fatal(err)
    }
    var x fileInfo
    jsonParser := json.NewDecoder(req.Body)
    if err := jsonParser.Decode(&x); err != nil {
        log.Fatal("parsing config file", err)
    }
    Movies = append(Movies,x)
    fmt.Println(x.Title,x.Year)     
}

这个程序第一次完美运行。但在那之后它继续给出net/http:TLS Handshake timeout随机文件名。我不确定是什么原因造成的。可能的解决方案是什么？另外这个错误究竟是什么？

编辑 2：为了解决并发中的赛车问题，我使用了通道，但现在我的程序与以前相比非常慢。我更新的主要功能：

func main() {
    flag.Parse()
    files, _ := ioutil.ReadDir(flag.Args()[0])
    var queryNames []string
    for _, f := range files {
        queryNames= append(queryNames,url.QueryEscape(f.Name()))
    }
    //fmt.Println(os.Getenv("GOPATH") + "/src/github.com/krashcan/review/template/index.tpl")
    fmt.Println("Preparing data")
    ch := make(chan string)
    done := make(chan bool)
    go func(){
        for{
            name,more := <-ch
            if more{
                GetTitleAndYear("https://opensubtitles.co/search?q=" + name)
            }else{
                done <-true
            }
        }
    }()

    for i:=0;i<len(queryNames);i++{
        ch <- queryNames[i] 
    }
    <- done
    fmt.Println("Preparation DONE")
    http.HandleFunc("/",ShowRatings)
    http.Handle("/static/",http.StripPrefix("/static/",http.FileServer(http.Dir(os.Getenv("GOPATH") + "/src/github.com/krashcan/review/static"))))

    log.Fatal(http.ListenAndServe(":8080",nil))
}

请给我建议一种方法，既可以保持与以前相同的速度，又可以避免在问题上乱跑。

编辑 1：我添加了我的完整程序。没有办法描述堆栈溢出的行号，我只在主函数中使用了并发。如果你觉得有必要就我编写围棋程序的方式给我建议，请这样做，我是一个初学者，我很乐意做正确的事情。

Answer 1

net/http当有大量来自客户端的 http.Get() 请求时会发生这种情况。为了避免TLS handshake timeout error,

t := &http.Transport{
            Dial: (&net.Dialer{
                    Timeout: 60 * time.Second,
                    KeepAlive: 30 * time.Second,
            }).Dial,
            // We use ABSURDLY large keys, and should probably not.
            TLSHandshakeTimeout: 60 * time.Second,
    }
    c := &http.Client{
            Transport: t,
    }
    resp, err := c.Get("https://internal.lan/")

在这里找到了