带有 boto3 的 DynamoDB - 限制充当页面大小

Question

根据 boto3 docs，limit参数 inquery允许您限制DynamoDB 表/GSI 中评估对象的数量。

但是，LastEvaluatedKey当达到所需的限制时不会返回，因此想要限制获取的结果数量的客户端将无法这样做

考虑以下代码：

        while True:
            query_result = self._dynamodb_client.query(**query_kwargs)
            for dynamodb_formatted_item in query_result["Items"]:
                yield self._convert_dict_from_dynamodb_key_names(
                    from_dynamodb_formatted_dict_to_dict(dynamodb_formatted_item)
                )

            if "LastEvaluatedKey" not in query_result:
                return

我在这里错过了什么吗？这是 Boto 库中的错误吗？

Answer 1

您的示例代码缺少将 LastEvaluatedKey 作为 ExclusiveStartKey 参数反馈到查询中的关键部分！因此，您在循环中重试相同的查询，而不是在前一个查询停止的地方继续。

例如，这是工作代码（我生成了一个数组，它不像您那样是一个很酷的生成器 ;-)）：

def full_query(table, **kwargs):
    response = table.query(**kwargs)
    items = response['Items']
    while 'LastEvaluatedKey' in response:
        response = table.query(ExclusiveStartKey=response['LastEvaluatedKey'], **kwards)
        items.extend(response['Items'])
    return items

你现在可以运行

full_query(Limit=37, KeyConditions={...})

并获取所有结果，分批次提取 37 个。