FastAPI、robots.txt 和 noindex

Question

FastAPI 是否需要 robots.txt 和标签 noindex？我正在创建不应该由匿名调用的业务 api 应用程序。所以我想知道我是否必须准备robots.txt和标签noindex以避免任何爬虫的操作。

我制作了 robots.txt 路由器，如下所示：

@router.get('/robots.txt')
def robots():
    data = """
    User-agent: *
    Disallow: /
    """
    return Response(content=data, media_type='text/plain')

我需要再做一次改变吗？

Answer 1

我尝试过这个并且有效

from fastapi.responses import PlainTextResponse
@app.get('/robots.txt', response_class=PlainTextResponse)
def robots():
    data = """User-agent: *\nDisallow: /"""
    return data