Python:通过xpath获取html表数据

Question

我觉得从html表中提取数据非常困难,需要为每个站点自定义构建..我非常希望在这里被证明是错误的..

是否有一种简单的pythonic方法可以通过使用感兴趣的表的url和xpath从网站中提取字符串和数字？

例:

url_str = 'http://www.fdmbenzinpriser.dk/searchprices/5/'
xpath_str = //*[@id="sortabletable"]

我曾经有一个可以从这个站点获取数据的脚本.但失去了它.我记得我正在使用标签''和一些字符串逻辑......不是很漂亮

我知道像thingpeak这样的网站可以做这些事情.

Answer 1

有一个相当普遍的模式,你可以用它来解析很多,但不是所有的表.

import lxml.html as LH
import requests
import pandas as pd
def text(elt):
    return elt.text_content().replace(u'\xa0', u' ')

url = 'http://www.fdmbenzinpriser.dk/searchprices/5/'
r = requests.get(url)
root = LH.fromstring(r.content)

for table in root.xpath('//table[@id="sortabletable"]'):
    header = [text(th) for th in table.xpath('//th')]        # 1
    data = [[text(td) for td in tr.xpath('td')]  
            for tr in table.xpath('//tr')]                   # 2
    data = [row for row in data if len(row)==len(header)]    # 3 
    data = pd.DataFrame(data, columns=header)                # 4
    print(data)

1. 您可以使用table.xpath('//th')查找列名称.
2. table.xpath('//tr')返回行,并为每一行tr.xpath('td') 返回表示表的一个"单元格"的元素.
3. 有时您可能需要过滤掉某些行,例如在这种情况下,行的值比标题少.
4. 您对数据(列表列表)的处理由您决定.在这里我只使用Pandas进行演示:

        Pris                               Adresse       Tidspunkt
0       8.04           Brovejen 18 5500 Middelfart   3 min 38 sek 
1       7.88         Hovedvejen 11 5500 Middelfart   4 min 52 sek 
2       7.88         Assensvej 105 5500 Middelfart   5 min 56 sek 
3       8.23    Ejby Industrivej 111 2600 Glostrup   6 min 28 sek 
4       8.15            Park Alle 125 2605 Brøndby  25 min 21 sek 
5       8.09           Sletvej 36 8310 Tranbjerg J  25 min 34 sek 
6       8.24      Vindinggård Center 29 7100 Vejle   27 min 6 sek 
7     7.99 *         Søndergade 116 8620 Kjellerup  31 min 27 sek 
8     7.99 *   Gertrud Rasks Vej 1 9210 Aalborg SØ  31 min 27 sek 
9     7.99 *              Sorøvej 13 4200 Slagelse  31 min 27 sek