用Python抓刮Facebook

Question

我有兴趣获得Facebook上每个朋友的朋友数量.显然官方Facebook API不允许获取朋友的朋友,所以我需要以某种方式绕过这个(有点明智的)限制.我尝试了以下方法:

import sys
import urllib, urllib2, cookielib

username = 'me@example.com'
password = 'mypassword'

cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
login_data = urllib.urlencode({'email' : username, 'pass' : password})
request = urllib2.Request('https://login.facebook.com/login.php')
request.add_header('User-Agent','Mozilla/5.0 (X11; U; Linux x86_64; en-US; rv:1.9.2.12) Gecko/20101027 Fedora/3.6.12-1.fc14 Firefox/3.6.12')
opener.open(request, login_data)
resp = opener.open('http://facebook.com')
print resp.read()

但我最终只得到了验证码页面.知道FB如何检测到请求不是来自"普通"浏览器吗？我可以添加额外的步骤并解决验证码,但这会给程序增加不必要的复杂性,所以我宁愿避免它.当我使用具有相同User-Agent字符串的Web浏览器时,我没有获得验证码.

或者,是否有人对如何实现我的目标有任何更明智的想法,即获得朋友的朋友列表？

Answer 1

您是否尝试过使用 Fiddler2 或 Wireshark 跟踪和比较 HTTP 事务？Fiddler 甚至可以跟踪 https，只要您的客户端代码可以使用伪造的证书即可。