相关疑难解决方法(0)

我应该如何了解搜索引擎抓取?

我不是指SEO的事情.我该怎么知道 如

  1. 引擎运行javascript?
  2. 他们使用饼干吗?
  3. Cookie会携带爬网会话(例如今天的Cookie和下周或下个月的抓取).
  4. 选择的JS过滤器是否因任何原因未加载?(例如因优化原因而被忽略的可疑广告?)

我不想意外地让所有索引页面都说出某种错误或警告信息就像你打开你的cookie,浏览器不支持,或者没有被索引,因为我做了一些愚蠢的事情,比如让我的站点地图指向/r?id=5而没有那么索引,因为它是一个重定向(但我会使用301).

search-engine web-crawler

5
推荐指数
1
解决办法
167
查看次数

标签 统计

search-engine ×1

web-crawler ×1