jac*_*des 41 sitemap web-crawler
如何找到网站的sitemap.xml文件?
例如,转到stackoverflow/sitemap.xml会得到404.
在stackoverflow/robots.txt中写入以下内容:
"这在技术上是无效的,因为出于一些荒谬的原因,站点地图路径必须是ABSOLUTE而不是相对的.站点地图:/sitemap.xml"
Kir*_*and 94
没有标准,所以没有保证.话虽如此,站点地图常见的是自我标记和根目录,如下所示:
example.com/sitemap.xml
Case在某些服务器上很敏感,因此请记住这一点.如果不存在,请查看根目录中的robots文件:
example.com/robots.txt
如果您没有在漫游器文件中看到它,请前往Google并搜索:
site:example.com filetype:xml
这会将结果限制为目标域上的XML文件.此时它的反复试验和基于您正在使用的网站的细节.如果您从上面的Google搜索词组中获得了几页结果,请尝试进一步限制结果:
filetype:xml site:example.com inurl:sitemap
要么
filetype:xml site:example.com inurl:products
如果你仍然找不到它,你可以right-click > "View Source"进行搜索(又名:"控制查找"或Ctrl + F).xml以查看代码中是否有对它的引用.
| 归档时间: |
|
| 查看次数: |
144733 次 |
| 最近记录: |