如何使用事件触发的 lambda 从 S3 存储桶获取最新的文件名或文件

Question

我对 AWS 服务非常陌生，并且只有一周的无服务器架构经验，我的要求是在将新文​​件上传到特定存储桶时触发事件，一旦设置了事件触发器，我的 Lambda 应该获取最新的文件，例如名称、大小和创建日期。

源每次都将此文件上传到一个新文件夹中，并使用当前日期命名该文件夹。

到目前为止，我能够破解如何创建我的 Lambda 函数并侦听事件触发器。

这是我的代码。

import boto3
import botocore
import datetime
import logging

def lambda_handler(event, context):
    logging.info('Start function')
    s3 = boto3.resource('s3')
    DATE = datetime.datetime.today().strftime('%Y-%m-%d')
    BUCKET_NAME = 'monkey-banana-dev'
    KEY = '/banana/incoming/daily/{}'.format(DATE)
    logging.info('Getting file from {}'.format(KEY))
    try:
        s3.Bucket(BUCKET_NAME).download_file(KEY, 'name_of_my_file')
    except botocore.exceptions.ClientError as e:
        if e.response['Error']['Code'] == "404":
            print("The object does not exist.")
        else:
            raise

在这里，因为我知道它将是今天的日期，因此我使用datetime来获取确切的 KEY 但文件名总是不同的。虽然我知道它将是一个带有 .txt 后缀的文本文件，但我无法解决如何从触发器中获取最新上传文件的名称和其他详细信息。

Answer 1

您有一个事件对象，它包含一个键“记录”，它是一个列表。

您可以过滤 eventName 'ObjectCreated:Put' 的记录，然后按关键字“eventTime”对列表进行排序以获取最新的事件数据。

def lambda_handler(event, context):
    records = [x for x in event.get('Records', []) if x.get('eventName') == 'ObjectCreated:Put']
    sorted_events = sorted(records, key=lambda e: e.get('eventTime'))
    latest_event = sorted_events[-1] if sorted_events else {}
    info = latest_event.get('s3', {})
    file_key = info.get('object', {}).get('key')
    bucket_name = info.get('bucket', {}).get('name')

Answer 2

如前所述，此链接包含信息 - http://docs.aws.amazon.com/lambda/latest/dg/eventsources.html#eventsources-s3-put

您需要做的是利用传递到函数中的事件对象。其中包含链接中提供的详细信息。正如您在链接的示例中看到的，您需要访问密钥。这将包含完整路径，包括您提到的日期，因为密钥是完整文件路径。

为了帮助调试此问题，您始终使用 Python 中的print函数将事件的值打印到控制台。