naf*_*afe 4 python google-app-engine pycurl
我想自动化与网页的互动.我一直在使用pycurl,但最终网页将使用javascript,所以我正在寻找替代方案.典型的互动是"打开页面,搜索某些文本,点击链接(打开表单),填写表格并提交".
我们正在Google App引擎上部署,如果这有所不同的话.
澄清:我们在appengine上部署网页.但是交互是在一台单独的机器上运行的.所以硒似乎是最好的选择.
Twill和mechanize不做Javascript,Qt和Selenium不能在App Engine((1))上运行,它只支持纯Python代码.我不知道任何纯Python Javascript解释器,这是你需要在App Engine上部署支持JS的刮板:-(.
也许Java中有一些东西,至少可以让你部署(Java版本的)App Engine？Java和Python中的App Engine应用程序版本可以使用相同的数据存储区,因此您可以将应用程序的某些部分保留在Python中......而不是需要了解Javascript的部分.不幸的是,我不太了解Java/AE环境,建议任何特定的包尝试.
((1)):澄清一下,因为似乎存在一个让我失望的误解:如果你在另一台计算机上运行Selenium或其他刮刀,你当然可以定位部署在App Engine中的网站(无论你如何部署你所定位的网站,使用什么编程语言等等,只要它是一个你可以访问的网站[[真正的网站:flash,&c,可能是不同]]).我如何阅读这个问题,OP正在寻找将抓取运行作为App Engine应用程序的一部分的方法 - 这是有问题的部分,而不是你(或其他人;-)运行被抓取的网站!