使用内置Python模块填写Web表单数据

Question

好吧所以我在我的冒险中使用机械化,请求,美味汤,甚至硒来做这样的事情,我得出的结论是urllib和其他默认模块是最好的方法.唯一的问题是我根本无法弄清楚如何使用它.所以,有人可以告诉我一些特别好的地方吗？此外,我通过示例学习最好,所以如果有人将此转换为我要求的那将是伟大的(也包括提交按钮大声笑)

from selenium import webdriver

driver = webdriver.Firefox()

driver.get("http://www.jonessoda.com/contests/back2school")
element = driver.find_element_by_name("fname")
element.send_keys("Ben")

Answer 1

你确实想要Selenium.它模拟浏览器上的GUI交互.在做诸如输入竞争表格数据之类的事情时,这将是最不可检测的方式.

关于硒的说明:它不是特定于语言的库.每种语言都有客户端特定的绑定.您将看到的大多数示例和操作方法实际上都是用Java编写的.

一个很好的资源是Selenium-python

这是你的工作范例.包括提交按钮.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
i = 2 # do it 2 times
while i > 0:
    driver = webdriver.Firefox()
    driver.get("http://www.jonessoda.com/contests/back2school")

    def find_by_xpath(locator):
        element = WebDriverWait(driver, 10).until(
            EC.presence_of_element_located((By.XPATH, locator))
        )

        return element

    class FormPage(object):
        def fill_form(self, data):
            find_by_xpath('//input[@name = "fname"]').send_keys(data['fname'])
            find_by_xpath('//input[@name = "lname"]').send_keys(data['lname'])
            find_by_xpath('//input[@name = "email"]').send_keys(data['email'])
            find_by_xpath('//select[@name = "birthday_month"]').send_keys(data['month'])
            find_by_xpath('//select[@name = "birthday_day"]').send_keys(data['day'])
            find_by_xpath('//select[@name = "birthday_year"]').send_keys(data['year'])

            return self # makes it so you can call .submit() after calling this function

        def submit(self):
            find_by_xpath('//input[@value = "Submit"]').click()

    data = {
        'fname': 'Sheep',
        'lname': 'Test',
        'email': 'jess@sheeptest.com',
        'month': 'October',
        'day': '29',
        'year': '1920'
    }

    FormPage().fill_form(data).submit()
    driver.quit() # closes the webbrowser
    i = i - 1