Golang 的键值存储 (Badger DB) 中的性能问题

Question

在 badgerDB 中，我们有数十亿个类型的键string和类型的值HashValueList。在我们的用例中，长度HashValueList可能以百万计。[]byte在插入 BadgerDb 之前，我们必须对键和值进行编码；我们正在使用该encoding/gob包。因此，每当我们需要值时，我们就必须再次解码它们。在我们的例子中，这个解码过程会产生开销。

type HashValue struct {
    Row_id  string
    Address string
}

type HashValueList []HashValue

为了减轻解码开销，我们将设计更改为前缀迭代。通过前缀迭代，我们将集合中的每个值存储为不同的 Badger KV 对，而不是具有大值的单个键。键的前缀将是原始哈希值键。然后，我们需要添加一个后缀，以提供原始集合中值集合的唯一性。所以在你原来的方案中有类似的东西：

k1 -> [v1, v2, v3, ..., vn]
...
km -> [w1, ..., wm]

现在有类似的东西：

k1@1 -> v1
k1@2 -> v2
k1@3 -> v2
...
k1@n -> vn
...
km@1 -> w1
...
km@m -> wm

为了从 DB 中查找值，我们有 n 个 goroutine 读取通道KeyChan并将值写入ValChan。

func Get(db *badger.DB, KeyChan <-chan string, ValChan chan []byte) {
    
    var val []byte

    for key := range KeyChan {
    
        txn := db.NewTransaction(false)

        opts := badger.DefaultIteratorOptions
        opts.Prefix = []byte(key)

        it := txn.NewIterator(opts)
    
        prefix := []byte(key)

        for it.Rewind(); it.ValidForPrefix(prefix); it.Next() {

            item := it.Item()
            val, err := item.ValueCopy(val[:])
            ValChan <- val

            item = nil
            if err != nil {
                fmt.Println(err)
            }
        }
        it.Close()
        txn.Discard()
    }
}

在 Prefix 迭代中，Get func 一段时间后变得非常慢。我们收集了 5 秒的执行跟踪，结果如下：

这里github.com/dgraph-io/badger/v3.(*Iterator).fill.func1 N=2033535内部创建了大量的Goroutine。

花费在调度程序等待上的大量时间。

我们如何提高前缀迭代性能？对于我们的用例有更好的方法吗？

谢谢

Answer 1

如果您想快速迭代前缀并收集结果，您应该考虑使用 Badger 中的 Stream 框架。它使用许多 goroutine 来使迭代速度尽可能快地达到磁盘允许的速度。

https://pkg.go.dev/github.com/outcaste-io/badger/v3#Stream

此外，一般来说，使用 Go 通道收集可能数百万个结果的速度会非常慢。最好通过批量处理结果并减少与它们交互的次数来使用渠道。

Stream Framework 通过为您提供串行执行的 Stream.Send 函数来处理所有这些问题。您甚至可以保持编码数据不变，并在发送中对其进行解码，或从发送中复制它。