GraphQL DataLoader应该将请求包装到数据库还是将请求包装到服务方法？

Question

我有一个非常普通的GraphQL模式，如下所示（伪代码）：

Post {
  commentsPage(skip: Int, limit: Int) {
    total: Int
    items: [Comment]
  }
}

因此，为避免在请求多个Post对象时出现n + 1问题，我决定使用Facebook的Dataloader。

由于我正在使用Nest.JS 3层分层应用程序（Resolver-Service-Repository），因此我有一个问题：

应该使用DataLoader包装存储库方法还是应该使用Dataloder包装服务方法？

下面是我的返回Comments页面的服务方法的示例（即，从commentsPage属性解析器调用的此方法）。内部服务方法中，我使用2个存储库方法（#count 和#find）：

@Injectable()
export class CommentsService {
    constructor(
        private readonly repository: CommentsRepository,
    ) {}

    async getCommentsPage(postId, dataStart, dateEnd, skip, limit): PaginatedComments {
        const counts = await this.repository.getCount(postId, dateStart, dateEnd);
        const itemsDocs = await this.repository.find(postId, dateStart, dateEnd, skip, limit);
        const items = this.mapDbResultToGraphQlType(itemsDocs);
        return new PaginatedComments(total, items)
    }
}

因此，我应该为每个存储库方法（#count，#find等）创建Dataloader的单独实例，还是只用Dataloader包装整个服务方法（这样我的commentsPage属性解析器将仅适用于Dataloader而不适用于服务）？

Answer 1

免责声明：我不是 Nest.js 的专家，但我已经编写了大量的数据加载器以及使用自动生成的数据加载器。尽管如此，我希望我能提供一些见解。

实际问题是什么？

虽然您的问题似乎是一个相对简单的问题，但它可能比这要困难得多。我认为实际问题如下：是否对特定字段使用数据加载器模式需要根据每个字段来决定。另一方面，存储库+服务模式试图通过公开抽象而强大的数据访问方式来抽象出这个决定。一种解决方法是简单地“数据加载”您的服务的每种方法。不幸的是，在实践中这并不是真正可行的。让我们来探究一下原因！

Dataloader 用于键值查找

Dataloader 提供了一个承诺缓存来减少对数据库的重复调用。为了使这个缓存工作，所有请求都需要是简单的键值查找（例如userByIdLoader，postsByUserIdLoader）。这很快就变得不够了，就像在您的示例之一中，您对存储库的请求有很多参数：

this.repository.find(postId, dateStart, dateEnd, skip, limit);

当然，从技术上讲，您可以制作{ postId, dateStart, dateEnd, skip, limit }密钥，然后以某种方式散列内容以生成唯一密钥。

编写 Dataloader 查询比普通查询困难一个数量级

当您实现数据加载器查询时，它现在突然必须为初始查询所需的输入列表工作。这是一个简单的 SQL 示例：

SELECT * FROM user WHERE id = ?
-- Dataloaded
SELECT * FROM user WHERE id IN ?

好的，现在是上面的存储库示例：

SELECT * FROM comment WHERE post_id = ? AND date < ? AND date > ? OFFSET ? LIMIT ?
-- Dataloaded
???

我有时会编写适用于两个参数的查询，但它们已经成为非常困难的问题。这就是为什么大多数数据加载器只是通过 id查找加载的原因。推特上的这条线索讨论了 GraphQL API 应该如何只公开可以有效查询的内容。如果您使用强大的过滤器方法创建服务方法，即使您的 GraphQL API 没有公开这些过滤器，您也会遇到同样的问题。

好的，那么解决方案是什么？

据我了解，Facebook 所做的第一件事是非常紧密地匹配字段和服务方法。你也可以这样做。通过这种方式，您可以在服务方法中决定是否要使用数据加载器。例如，我不在根查询（例如{ getPosts(filter: { createdBefore: "...", user: 234 }) { .. }）中使用数据加载器，而是在出现在列表中的类型的子字段中使用{ getAllPosts { comments { ... } }。根查询不会在循环中执行，因此不会暴露于 n+1 问题。

您的存储库现在公开了可以“有效查询”的内容（如 Lee 的推文中所述），例如外键/主键查找或过滤查找所有查询。然后，该服务可以将例如密钥查找包装在数据加载器中。通常我最终会在我的业务逻辑中过滤小列表。我认为这对于小型应用程序来说非常好，但在扩展时可能会出现问题。当您使用该connectionFromArray函数时，JavaScript 的 GraphQL Relay 助手会执行类似的操作。分页不是在数据库级别完成的，这对于 90% 的连接来说可能没问题。

一些需要考虑的来源

• GraphQL 之前的 GraphQL - Dan Schafer
• Dataloader 源代码演练 - Lee Byron
• 今年 GraphQL conf 中还有另一个讨论讨论了 FB 的数据访问，但我认为它尚未上传。出版后我可能会回来。