通过 Boto3 进行 DynamoDB 分页，NextToken 不存在但 LastEvaluatedKey 存在？

Question

boto3 和 dynamodb 分页器的文档指定在分页时应返回 NextToken，然后您将在下一个查询中包含该令牌以获取开始令牌以恢复分页会话（通过 RESTful API 访问信息时会发生这种情况）。

但是，我的测试表明它不会在结果中返回 NextToken，而是返回 LastEvaluatedKey。我想我可以使用 LastEvaluatedKey 作为令牌，但这不起作用？

paginator = client.get_paginator('scan')
page_iterator = paginator.paginate(TableName='test1', PaginationConfig={'PageSize': 1 , 'MaxItems': 5000,  'MaxSize': 1 })

    for page in page_iterator:
        print(page)
        break   

我希望从 page_iterator 返回的页面对象包含 NextToken Key 但它没有？

{'Items': [{'PK': {'S': '99'}, 'SK': {'S': '99'}, 'data': {'S': 'Test Item 99'}}], 'Count': 1, 'ScannedCount': 1, 'LastEvaluatedKey': {'PK': {'S': '99'}, 'SK': {'S': '99'}}, 'ResponseMetadata': {'RequestId': 'DUE559L8KVKVH8H7G0G2JH0LUNVV4KQNSO5AEMVJF66Q9ASUAAJG', 'HTTPStatusCode': 200, 'HTTPHeaders': {'server': 'Server', 'date': 'Mon, 27 May 2019 14:22:09 GMT', 'content-type': 'application/x-amz-json-1.0', 'content-length': '153', 'connection': 'keep-alive', 'x-amzn-requestid': 'DUE559L8KVKVH8H7G0G2JH0LUNVV4KQNSO5AEMVJF66Q9ASUAAJG', 'x-amz-crc32': '3759060959'}, 'RetryAttempts': 0}}

我错过了什么？

更新：不知何故与此有关？如何使用 Boto3 分页

Answer 1

有几种方法可以使用 boto3 扫描分页器解决此问题。

第一个选项是这样调用build_full_result：

result = paginator.paginate(TableName="your_table", PaginationConfig={"MaxItems":10, "PageSize": 10}).build_full_result()

这将返回一个包含 10 个项目的响应，如果超过 10 个项目，则会填充“NextToken”。这可能是最简单的方法，您可以将 MaxItems 视为您返回的页面大小，如果 'NextToken' 为空，则您在扫描结束时。

我注意到如果您不指定页面大小，结果是相同的，但消耗的容量和“ScannedCount”会更高。

另一种方法是直接使用 botocore.paginate 中的TokenEncoder对“StartingToken”进行编码。

如果对分页器的初始调用是这样的：

pagination_config = {
    "MaxItems": 5000,
    "PageSize": 10,
}

scan_iterator = scan_paginator.paginate(
    TableName="your_table_name",
    PaginationConfig=pagination_config
)

分页结果将如问题所述。前 10 个结果将在第一页中返回，并且未指定 'NextToken'，但指定了 'LastEvaluatedKey'。

要使用它，请将返回的“LastEvaluatedKey”编码为“ExclusiveStartKey”并将其作为“StartingToken”传递到分页配置中。

from botocore.paginate import TokenEncoder
encoder = TokenEncoder()
for page in scan_iterator:
    if "LastEvaluatedKey" in page:
            encoded_token = encoder.encode({"ExclusiveStartKey": page["LastEvaluatedKey"]})

然后：

pagination_config = {
    "MaxItems": 500,
    "PageSize": 10,
    "StartingToken": encoded_token
}

将主键编码为“ExclusiveStartKey”的原因是它是实际扫描 API 所期望的。本质上，分页器将“LastEvaluatedKey”和“ExclusiveStartKey”编码/解码为“NextToken”和“StartingToken”值。如果您对执行时返回的“NextToken”进行 base64 解码，build_full_result您将看到它也使用了“ExclusiveStartKey”。