小编tom*_*omo的帖子

FastAPI 是否需要 robots.txt 和标签 noindex？我正在创建不应该由匿名调用的业务 api 应用程序。所以我想知道我是否必须准备robots.txt和标签noindex以避免任何爬虫的操作。

我制作了 robots.txt 路由器，如下所示：

@router.get('/robots.txt')
def robots():
    data = """
    User-agent: *
    Disallow: /
    """
    return Response(content=data, media_type='text/plain')

我需要再做一次改变吗？