如何用curl欺骗搜索引擎机器人？

Question

如何使用cURL向网站发出请求,并使网站相信我是一个搜索引擎.

Answer 1

您可以将用户代理设置为Googlebot(有关Google KB上使用的确切用户代理的详细信息):

curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)');

这可能并不总是有效!某些网站可能会选择反向DNS检查声称是Googlebot的任何人.