mechanize._mechanize.FormNotFoundError:没有匹配名称'q'的表单

jon*_*les 1 python forms mechanize web-crawler

任何人都可以帮我这个表格选择正确吗?

试图抓取谷歌,我得到错误:mechanize._mechanize.FormNotFoundError:没有形式匹配名称'q'

不寻常,因为我已经看过其他一些使用它的教程,并且:ps我不打算SLAM google请求,只是希望使用自动选择器来不时寻找学术引用pdf.

<f GET http://www.google.com.tw/search application/x-www-form-urlencoded
  <HiddenControl(ie=Big5) (readonly)>
  <HiddenControl(hl=zh-TW) (readonly)>
  <HiddenControl(source=hp) (readonly)>
  <TextControl(q=)>
  <SubmitControl(btnG=Google ?j?M) (readonly)>
  <SubmitControl(btnI=?n???) (readonly)>
  <HiddenControl(gbv=1) (readonly)>>
>>> quit()




import os, subprocess
import re
import mechanize
from bs4 import BeautifulSoup
#prepare mechanize
br = mechanize.Browser()
br.set_handle_robots(False)
br.set_handle_equiv(False)
br.addheaders = [('User-agent', 'Mozilla/5.0')] 
br.open('http://www.google.com/')
br.select_form('q')
citation = ' www.stackoverflow.com '.strip() 
#citation = GOOGLE_BASE + Citation
print citation
br.open('http://www.google.com/')
br.select_form('q')
br.form['q'] = citation
br.submit()
data = br.read()
soup = BeautifulSoup(data)
print soup
Run Code Online (Sandbox Code Playgroud)

cyr*_*oxx 8

您正在尝试选择一个名称q不存在的表单.似乎表单的名称是f相反的.(但是,我无法在浏览器中验证 - 即使禁用了Javascript,我也只看到了不同的名称.)

可以像这样进行简单的Google搜索:

import os, subprocess
import re
import mechanize
from bs4 import BeautifulSoup

#prepare mechanize
br = mechanize.Browser()
br.set_handle_robots(False)
br.set_handle_equiv(False)
br.addheaders = [('User-agent', 'Mozilla/5.0')] 
br.open('http://www.google.com/')

# do the query
br.select_form(name='f')   # Note: select the form named 'f' here
br.form['q'] = 'here goes your query' # query
data = br.submit()

# parse and output
soup = BeautifulSoup(data.read())
print soup
Run Code Online (Sandbox Code Playgroud)

这应该给你的想法.

更新:如何找到正确的表单'选择器'

要打印可用表单的名称,您可以执行以下操作:

for form in br.forms():
    print form.name
Run Code Online (Sandbox Code Playgroud)

当您使用交互式控制台时,这会派上用场.

您不必使用表单的名称,但您可以提供其他提示以选择正确的表单.例如,在某些页面上,表单根本没有名称.然后您仍然可以根据表单的编号进行选择,例如br.select_form(nr=1)页面上的第二个表单.请参阅help(br.select_form)详细信息.此外,list(br.forms())还会列出您可以进一步检查的所有表格.

另一种选择是在您的常用浏览器中手动检查页面.