我目前正在编写我的robots.txt文件,并且在决定是否允许或禁止某些文件夹用于搜索引擎优化目的时遇到一些麻烦.
这是我的文件夹:
- / css /(css)
- / js /(javascript)
- / img /(我用于网站的图片)
- / php /(PHP将返回一个空白页面,例如checkemail.php,用于检查电子邮件地址或register.php,它将数据放入SQL数据库并发送电子邮件)
- / error /(我的错误401,403,404,406,500 html页面)
- / include /(我包括header.html和footer.html)
我正在考虑只禁用PHP页面并让其余部分.
你怎么看？
非常感谢
洛朗