我一直在开发一个新项目，该项目利用映射到 lambda 函数的 API 网关。lambda 函数包含一个 Kestrel .NET Web 服务器，该服务器通过 API 网关通过代理接收请求。我已将 API Gateway 重新映射到实际子域以确保某些品牌一致性。一切正常；然而，我最近实施了 Elmah.IO，以便更好地了解在这种不寻常的情况下会出现什么错误。
现在，每天大约一到五次，api 网关 URL 收到无法完成的 robots.txt 文件的请求。我不希望 API 能够完成这个请求，因为 API 不是为了提供静态内容。我的问题是；如何防止提出这些请求？
是什么导致请求 API 网关 URL？是因为它是通过我的主机站点的链接直接检测到的吗？它使用 CORS 访问 API，因此机器人可能将 API 检测为完全独立的域并尝试对其进行爬网。如果是这样，是否有一些配置可以添加到我的 Web API 中以强制对 robots.txt 请求进行设计的文本响应？