小编tom*_*mmo的帖子

好吧,所以我将它用于reddit机器人,但我希望能够弄清楚如何登录任何网站.如果这是有道理的....

我意识到不同的网站使用不同的登录表单等.那么我如何找出如何为每个网站优化它？我假设我需要在html文件中查找内容但不知道是什么.

我不想使用Mechanize或任何其他库(这是所有其他答案都在这里,而不是实际上帮助我了解正在发生的事情),因为我想自己学习它究竟是如何工作的.

urllib2文档真的没有帮助我.

谢谢.

好吧,我正在尝试用开胃菜和漂亮的汤从页面中提取一些信息,我认为这就是问题出现的地方.我需要使用opener,因为我需要通过Tor路由它,因为我认为它们阻止了多个请求.

(如果这都是未格式化的,我会立即编辑,因为通常会发生一些奇怪的事情.)

这是代码:

def getsite():
    proxy = urllib2.ProxyHandler({"http" : "127.0.0.1:8118"})
    opener = urllib2.build_opener(proxy)
    opener.addheaders = [('User-agent', 'Mozilla/5.0')]
    url = opener.open('https://www.website.com')
    try:
        page = BeautifulSoup(urllib2.urlopen(url).read())
    except Exception as Err:
        errorlist.append('Unexpected Error ' + str(Err))
        time.sleep(60)
        page = BeautifulSoup(urllib2.urlopen(url).read())
    values = page.findAll("strong")
    high = values[2]
    low = values[1]
    last = values[0]
    vol = values[3]

    high = str(high)
    low = str(low)
    last = str(last)
    vol = str(vol)
    high = high[8:-13]
    low = low[8:-13]
    last = last[8:-13]
    vol = vol[8:-24]


    print high, low, last, …