AWS boto3 page_iterator.search 无法将 datetime.datetime 与 str 进行比较

Question

尝试捕获 s3 上的增量文件（上次处理后创建的文件）。为此，使用 boto3 过滤器迭代器通过查询 LastModified 值而不是返回所有文件列表并在客户端站点上进行过滤。

根据http://jmespath.org/ ?，以下查询有效并过滤以下 json respose；

filtered_iterator = page_iterator.search(
"Contents[?LastModified>='datetime.datetime(2016, 12, 27, 8, 5, 37, tzinfo=tzutc())'].Key")

for key_data in filtered_iterator:
print(key_data)

但是它失败了；

RuntimeError: xxxxxxx has failed: can't compare datetime.datetime to str

示例分页器响应；

{
"Contents": [{
    "LastModified": "datetime.datetime(2016, 12, 28, 8, 5, 31, tzinfo=tzutc())",
    "ETag": "1022dad2540da33c35aba123476a4622",
    "StorageClass": "STANDARD",
    "Key": "blah1/blah11/abc.json",
    "Owner": {
        "DisplayName": "App-AWS",
        "ID": "bfc77ae78cf43fd1b19f24f99998cb86d6fd8220dbfce0ce6a98776253646656"
    },
    "Size": 623
}, {
    "LastModified": "datetime.datetime(2016, 12, 28, 8, 5, 37, tzinfo=tzutc())",
    "ETag": "1022dad2540da33c35abacd376a44444",
    "StorageClass": "STANDARD",
    "Key": "blah2/blah22/xyz.json",
    "Owner": {
        "DisplayName": "App-AWS",
        "ID": "bfc77ae78cf43fd1b19f24f99998cb86d6fd8220dbfce0ce6a81234e632c5a8c"
    },
    "Size": 702
}
]
}

Answer 1

在花了几分钟研究boto3 分页器文档后，我意识到这实际上是一个语法问题，我将其视为字符串而忽略了它。

实际上，右侧包含比较值的引号是backquote/反引号，符号[ ` ]。您不能对比较值/对象使用单引号[ ' ] 。

检查JMESPath示例后，我注意到它使用反引号来比较值。所以boto3分页器的实现确实符合JMESPath标准。

这是我使用反引号运行时没有错误的代码。

import boto3 
s3 = boto3.client("s3")
s3_paginator = s3.get_paginator('list_objects')
s3_iterator = s3_paginator.paginate(Bucket='mytestbucket')
filtered_iterator = s3_iterator.search(
    "Contents[?LastModified >= `datetime.datetime(2016, 12, 27, 8, 5, 37, tzinfo=tzutc())`].Key"
    )
for key_data in filtered_iterator:
    print(key_data)

Answer 2

Boto3 Jmespath 实现不支持日期过滤（在您的示例中，它会将它们标记为不兼容的类型“unicode”和“datetime”）。但是通过亚马逊解析日期的方式，您可以使用 Jmespath 的 to_string() 方法对它们进行词法比较。

像这样的东西：

"Contents[?to_string(LastModified)>='\"2015-01-01 01:01:01+00:00\"']"

但请记住，它是按字典顺序比较而不是日期比较。大部分时间都可以工作。