wget用于获取Facebook个人资料/朋友页面

Question

我正在尝试使用"wget"获取Facebook用户的个人资料页面,但继续获取一个名为"browser.php"的非个人资料页面,该页面与该特定用户无关.我在浏览器中看到的配置文件页面的URL恰好具有以下格式:

http://www.facebook.com/user-name

这就是我一直用作wget命令的参数:

wget http://www.facebook.com/user-name

我也有兴趣使用wget来获取用户的朋友列表,但即使这样也给了我同样无益的结果("browser.php"):

wget http://www.facebook.com/user-name?sk=friends&v=friends

有人可以告诉我这里我做错了什么吗？换句话说,我是否错过了wget命令的一些关键选项,或者根本不适合这样的场景？

任何帮助将不胜感激.

要为此查询添加上下文,我需要弄清楚如何使用wget从Facebook获取这些页面,因为它可以帮助我编写脚本/程序以从HTML源代码中查找朋友的配置文件URL,然后查找其他一些我们基本上希望这可以帮助我做一些我没有联系的人选择性爬行(当然是Facebook的许可).

Answer 1

首先，Facebook 可能创造了一种条件，使某些用户代理（例如 wget）无法抓取页面。因此，他们将某些用户代理重定向到不同的页面，该页面可能会说“不支持您的浏览器”之类的内容 ，他们这样做是为了保护人们不做您正在做的事情。但是，您可以使用 wget 的参数告诉 wget 将自己标识为不同的代理-U（请阅读 wget 手册页）。例如wget -U Mozilla http://....

其次，Facebook 的隐私设置很少允许您阅读任何/大量信息，除非您以用户身份登录，并且可能仅作为您尝试抓取的个人资料的好友用户登录。

第三，您需要使用Facebook API来从 Facebook 抓取和提取信息 - 如果您尝试以任何其他方式获取信息，则可能违反可接受的使用政策。