jon*_*jon 13 python beautifulsoup
我试图从网站上刮取表格数据.
这是一个简单的示例表:
t = '<html><table>' +\
'<tr><td class="label"> a </td> <td> 1 </td></tr>' +\
'<tr><td class="label"> b </td> <td> 2 </td></tr>' +\
'<tr><td class="label"> c </td> <td> 3 </td></tr>' +\
'<tr><td class="label"> d </td> <td> 4 </td></tr>' +\
'</table></html>'
期望的解析结果是 {' a ': ' 1 ', ' b ': ' 2 ', ' c ': ' 3 ', ' d ' : ' 4' }
这是我迄今为止最接近的尝试:
for tr in s.findAll('tr'):
k, v = BeautifulSoup(str(tr)).findAll('td')
d[str(k)] = str(v)
结果是:
{'<td class="label"> a </td>': '<td> 1 </td>', '<td class="label"> d </td>': '<td> 4 </td>', '<td class="label"> b </td>': '<td> 2 </td>', '<td class="label"> c </td>': '<td> 3 </td>'}
我知道text=True参数,findAll()但是当我使用它时,我没有得到预期的结果.
我正在使用python 2.6和BeautifulSoup3.
小智 16
试试这个:
from BeautifulSoup import BeautifulSoup, Comment
t = '<html><table>' +\
'<tr><td class="label"> a </td> <td> 1 </td></tr>' +\
'<tr><td class="label"> b </td> <td> 2 </td></tr>' +\
'<tr><td class="label"> c </td> <td> 3 </td></tr>' +\
'<tr><td class="label"> d </td> <td> 4 </td></tr>' +\
'</table></html>'
bs = BeautifulSoup(t)
results = {}
for row in bs.findAll('tr'):
aux = row.findAll('td')
results[aux[0].string] = aux[1].string
print results
BeautifulSoup Python 已经进化了，所以如果有人带着更新的版本来到这里：
Python>=3.7
BeautifulSoup>=4.7
这是有效的更新代码：
Python>=3.7
BeautifulSoup>=4.7
如果要抓取的表具有明确的“ thead”和“ tbody”，例如：
<table>
<thead>
<tr>
<th>Total</th>
<th>Finished</th>
<th>Unfinished</th>
</tr>
</thead>
<tbody>
<tr> <td>63</td> <td>33</td> <td>2</td> </tr>
<tr> <td>69</td> <td>29</td> <td>3</td> </tr>
<tr> <td>57</td> <td>28</td> <td>1</td> </tr>
</tbody>
</table>
您可以使用以下内容：
headers = [header.text_content() for header in table.cssselect("thead tr th")]
results = [{headers[i]: cell.text_content() for i, cell in enumerate(row.cssselect("td"))} for row in table.cssselect("tbody tr")]
这将产生：
[
{"Total": "63", "Finished": "33", "Unfinished": "2"},
{"Total": "69", "Finished": "29", "Unfinished": "3"},
{"Total": "57", "Finished": "28", "Unfinished": "1"}
]
PS这是使用lxml.html。如果您使用BeautifulSoup，则将“ .text_content（）”替换为“ .string”，将“ .cssselect”替换为“ .findAll”。
您可以使用与mvillaress相同的方法,但使用List Comprehensions进行一些改进:
from BeautifulSoup import BeautifulSoup
t = '<html><table>' +\
'<tr><td class="label"> a </td> <td> 1 </td></tr>' +\
'<tr><td class="label"> b </td> <td> 2 </td></tr>' +\
'<tr><td class="label"> c </td> <td> 3 </td></tr>' +\
'<tr><td class="label"> d </td> <td> 4 </td></tr>' +\
'</table></html>'
bs = BeautifulSoup(t)
tds = [row.findAll('td') for row in bs.findAll('tr')]
results = { td[0].string: td[1].string for td in tds }
print results