亚马逊 lambda 适合网页抓取吗？

Question

如果我创建一个函数来获取网页。它会在每次执行时在不同的 IP 上执行它，以便我的抓取请求不会被阻止吗？

Answer 1

当文件放置在 S3 中或将数据添加到 Kinesis 或 DynamoDB 时，将触发 Lambda。这通常与网络爬虫的需求背道而驰，尽管像 S3 这样的东西肯定可以作为队列/作业运行器执行。

抓取不同的IP？当然，lambda 部署在许多机器上，但这实际上对您没有帮助，因为您无法控制机器或其 IP。