使用Python刮擦Ajax

Chr*_*kes 1 python ajax screen-scraping

我一直在练习Python的抓取能力.我已经相当不错,但遇到了一些让我很难过的网站.他们利用Ajax查找附近的位置.有几个网站设计方式相同.其中一个网站是www.applebees.com.即使使用萤火虫我也找不到答案.

Python如何通过ajax调用请求位置?我完全难过了.

该页面是www.applebees.com,右侧有一个表格可以输入邮政编码,它会将最近的位置拉到该邮政编码.但是,如果在输入此邮政编码后拉取源,则源位置文件中仍未显示位置.请求/响应完全是ajax并隐藏到html源代码,我从未见过类似的东西.我正在尝试研究解决方案.

小智 7

对于某些站点,使用http库以编程方式进行刮擦可能很困难.如果您尝试在JavaScript重型站点(ajax或其他)上模拟用户交互,您可能会考虑使用像selenium这样的东西来驱动真正的浏览器.有python客户端浏览,你将获得一些页面DOM的访问权限.

http://pypi.python.org/pypi/selenium