是否有可能找到谷歌机器人抓取我的网站上的任何网址,并记录上次访问服务器上的文本文件的时间

Question

下面是一个代码,当谷歌抓取任何页面时会发送一封电子邮件,导致邮箱发送垃圾邮件.所以可以在服务器上的文本文件中记录最后一次抓取的时间戳,我可以随时使用perl LWP mod读取.文件应该只有这个数据:29,2012年1月GMT等如果机器人多次访问我的网站,它应该覆盖txt文件并记录上次访问时间,请尽可能帮助实施

<?php
if ( strpos( $_SERVER['HTTP_USER_AGENT'], 'Googlebot' ) !== false )
{
// paste your email address here
$my_email = 'your_email_address@email.com';
// notify via email
mail($my_email,'[Notification]Googlebot Visit', 'Googlebot has just visited your      website WEBSITE_NAME: '.$_SERVER['REQUEST_URI']);
}
?>

我想我们可以通过检查谷歌机器人是否正在服务器以及它从服务器请求任何网站页面的时间来做到这一点？

Answer 1

if ( strpos( $_SERVER['HTTP_USER_AGENT'], 'Googlebot' ) !== false ) {
    file_put_contents('somefile.txt', 'Googlebot was here - ' . date(DATE_RFC822));
}

• http://php.net/manual/en/function.file-put-contents.php
• http://www.php.net/manual/en/function.date.php