是否将我的Django应用程序中的robots.txt添加到Google上市的方式？

Question

我在Linux服务器上有一个网站(Django),但Google根本没有找到该网站.我知道我robots.txt在服务器上没有文件.有人能告诉我如何创建一个,在里面写什么以及在哪里放置它？那将是一个很大的帮助!

Answer 1

机器人txt不适合谷歌找到你的网站.我认为您必须将您的网站注册到谷歌并添加sitemap.xml

• 网站站长工具 - 抓取网址 - > https://www.google.com/webmasters/tools/submit-url?continue=/addurl&pli=1

对于robot.txt也看到这个

• 将robots.txt添加到Django项目的三种方法 fredericiana - > http://fredericiana.com/2010/06/09/three-ways-to-add-a-robots-txt-to-your-django-project/

什么是robot.txt

当搜索引擎经常访问您的网站并为您的内容编制索引时,这是很棒的,但通常情况下,您的在线内容的部分索引不是您想要的.例如,如果您有一个页面的两个版本(一个用于在浏览器中查看,一个用于打印),则您宁愿将打印版本排除在爬行之外,否则您可能会面临重复的内容惩罚.此外,如果您的网站上碰巧有您不希望世界看到的敏感数据,您也会更喜欢搜索引擎不会将这些页面编入索引(尽管在这种情况下,不对索引敏感数据的唯一可靠方法是使其在单独的机器上脱机).此外,如果您想通过从索引中排除图像,样式表和javascript来节省一些带宽,您还需要一种方法来告诉蜘蛛远离这些项目.

告诉搜索引擎网站上哪些文件和文件夹要避免的一种方法是使用机器人元标记.但是,由于并非所有的搜索引擎都能读取元标记,因此机器人matatag可以简单地被忽视.告知搜索引擎您的意愿的更好方法是使用robots.txt文件.

来自什么是Robots.txt - > http://www.webconfs.com/what-is-robots-txt-article-12.php