mgo.Monotonic从中学阅读

Question

我正在尝试配置从mongo副本集的主节点和两个辅助节点读取,以提供更好的负载平衡.3个节点中的每个节点都在不同的机器上,IP地址为:ip1,ip2,ip3.

我的GoLang网站,是martini带有两个网址的网络服务器,/insert并且/get:

package main

import (
    "github.com/go-martini/martini"
    "gopkg.in/mgo.v2"
    "gopkg.in/mgo.v2/bson"
    "net/http"
)

const (
    dialStr        = "ip1:port1,ip2:port2,ip3:port3"
    dbName         = "test"
    collectionName = "test"
    elementsCount  = 1000
)

var mainSessionForSave *mgo.Session

func ConnectToMongo() {
    var err error
    mainSessionForSave, err = mgo.Dial(dialStr)
    mainSessionForSave.SetMode(mgo.Monotonic, true)
    if err != nil {
        panic(err)
    }
}

func GetMgoSessionPerRequest() *mgo.Session {
    var sessionPerRequest *mgo.Session
    sessionPerRequest = mainSessionForSave.Copy()
    return sessionPerRequest
}

func main() {
    ConnectToMongo()
    prepareMartini().Run()
}

type Element struct {
    I int `bson:"I"`
}

func prepareMartini() *martini.ClassicMartini {
    m := martini.Classic()
    sessionPerRequest := GetMgoSessionPerRequest()
    m.Get("/insert", func(w http.ResponseWriter, r *http.Request) {
        for i := 0; i < elementsCount; i++ {
            e := Element{I: i}
            err := collection(sessionPerRequest).Insert(&e)
            if err != nil {
                panic(err)
            }
        }
        w.Write([]byte("data inserted successfully"))
    })
    m.Get("/get", func(w http.ResponseWriter, r *http.Request) {
        var element Element
        const findI = 500
        err := collection(sessionPerRequest).Find(bson.M{"I": findI}).One(&element)
        if err != nil {
            panic(err)
        }
        w.Write([]byte("get data successfully"))

    })

    return m
}

func collection(s *mgo.Session) *mgo.Collection {
    return s.DB(dbName).C(collectionName)
}

我GoLang使用命令运行此站点go run site.go并准备我要求的实验http://localhost:3000/insert- 大约一分钟后我的测试数据被插入.

然后我开始测试从二级和主节点读取attacker.go:

package main

import (
    "fmt"
    "time"

    vegeta "github.com/tsenart/vegeta/lib"
)

func main() {

    rate := uint64(4000) // per second
    duration := 4 * time.Second
    targeter := vegeta.NewStaticTargeter(&vegeta.Target{
        Method: "GET",
        URL:    "http://localhost:3000/get",
    })
    attacker := vegeta.NewAttacker()

    var results vegeta.Results
    for res := range attacker.Attack(targeter, rate, duration) {
        results = append(results, res)
    }

    metrics := vegeta.NewMetrics(results)
    fmt.Printf("99th percentile: %s\n", metrics.Latencies.P99)
}

运行它go run attacker.go我只需要每秒http://localhost:3000/get 4000次URL .当攻击者正在工作时,我打开了所有3台服务器并运行htop命令来观察资源消耗.PRIMARY节点显示它处于高负载,CPU约为80%.SECONDARIES很平静.

为什么？

我用过mgo.Monotonic......

mainSessionForSave.SetMode(mgo.Monotonic, true)

...我希望从所有节点读取:ip1, ip2, ip3我希望在相同的负载和相同的CPU消耗下观察所有节点.但事实并非如此.我配置错了什么？实际上mgo.Monotonic在我的情况下不起作用,我只从PRIMARY节点读取.

Answer 1

该sessionPerRequest只创建一次：prepareMartini被称为在服务器启动，并sessionPerRequest设置即可。传递给m.Get()访问该变量的闭包。然后，在第一次写入后（在您的测试设置期间），mgo将只访问主：

如果可能，单调一致性将从从站开始读取，以便更好地分配负载，并且一旦发生第一次写入，连接就会切换到主站。

（如果mgo只是在写入主要数据后继续从辅助数据读取，那么读取不一定会反映您刚刚进行的写入，这可能会很痛苦。切换到主要数据只会让您获得比从原始数据获得的数据更新的数据）次要的，永远不会变旧，它保持了单调性。无论如何，这就是它理想的工作方式；有关更多信息，请参阅下面的“未解决的问题”链接。）

解决方案是将创建会话推送到您的处理程序中，例如，删除sessionPerRequest并在每个处理程序之上放置一些明确的内容，例如

coll := mainSessionForSave.Copy().DB(dbName).Collection(collName)

所有一致性承诺都应该根据MongoDB 一致性的开放性问题来读取：现在，在网络分区期间，读取可以看到旧数据和稍后将回滚的写入，即使在mgo尝试从主数据库读取时也是如此。（比较和设置没有这个问题，但当然这是一个更大的更慢的操作。）同样值得仔细阅读这篇文章，只是为了讨论一致性级别和不同数据库行为可能如何体现应用程序的终端用户。