我怎么知道谷歌蜘蛛或其他蜘蛛是否访问我的页面？

Question

我怎么知道谷歌蜘蛛或其他蜘蛛是否访问我的页面？

<?php

if ("this is a spider") {
header('Location: index.php');
exit;
}

?>

Answer 1

您可以使用USER_AGENT标头识别此问题中描述的大多数搜索引擎抓取工具.

然而,予以警告,你仿佛是试图做的事-呈现不同的内容抓取工具不是人的访客-是一种技术,也被称为"隐形",并通过搜索引擎不能很好地接受的.

据我所知,对谷歌来说,这会导致严重的处罚,直到你的网站完全从索引中消失.

我会这样做,并采用合法的SEO优化代替.