标签: beautifulsoup

我正在尝试使用 beautifulsoup 和 python 从网页中提取信息。我想提取特定标签下方的信息。为了知道它是否是正确的标签，我想对其文本进行比较，然后在下一个直接标签中提取文本。
举例来说，如果以下内容是 HTML 页面源代码的一部分，

<div class="row">
    ::before
    <div class="four columns">
        <p class="title">Procurement type</p>
        <p class="data strong">Services</p>
    </div>
  <div class="four columns">
      <p class="title">Reference</p>
      <p class="data strong">ANAJSKJD23423-Commission</p>
  </div>
  <div class="four columns">
      <p class="title">Funding Agency</p>
      <p class="data strong">Health Commission</p>
  </div>
  ::after
</div>
<div class="row">
    ::before
    ::after
</div>
<hr>
<div class="row">
    ::before
    <div class="twelve columns">
        <p class="title">Countries</p>
        <p class="data strong">
            <span class>Belgium</span>
            ", "
            <span class>France</span>
            ", "
            <span class>Luxembourg</span>
        </p>
        <p></p>
    </div>
    ::after
</div>

我想检查是否<p class="title">具有文本值，Procurement …

使用 BeautifulSoup 的 prettify 后，我想删除周围的换行符和缩进span，也许还有其他内联标签。

例如，我目前有这样的东西：

>>> import bs4
>>> html = "<div><p>I don't want this <span>span element</span> on it's one line.</p></div>"
>>> soup = bs4.BeautifulSoup(html, "html.parser")
>>> soup.prettify()
"<div>\n <p>\n  I don't want this\n  <span>\n   span element\n  </span>\n  on its one line.\n </p>\n</div>"
>>> print(soup.prettify())
<div>
 <p>
  I don't want this
  <span>
   span element
  </span>
  on it's one line.
 </p>
</div>

我可以使用什么正则表达式来删除跨度标签周围的缩进空格和换行符，以便我最终得到以下结果：

<div>
 <p>
  I don't want this <span>span element</span> on its one line.
 </p>
</div>

我试图在这个 Python 脚本中深入两个级别。我看到的所有示例都使用 find_all 向下钻取单个级别，并且我可以正常工作，但我无法深入到第三级别。这是我的代码片段：

main_table = soup.find("div",attrs={'class':'block-content'})
label_item_contents = main_table.find_all("div", attrs={'class':'label-item-description'})
links = label_item_contents.find_all("a")
print(links)

这样做会出现错误“AttributeError：ResultSet 对象没有属性‘find_all’。”

如果我注释掉并更改打印，那么就是这样：

main_table = soup.find("div",attrs={'class':'block-content'})
label_item_contents = main_table.find_all("div", attrs={'class':'label-item-description'})
print(label_item_contents)

然后我看到所有抓取的数据。我读到问题可能是 label_item_contents 变成了一个数组，所以我尝试这样做：

links = label_item_contents[].find_all("a")

但后来我得到“SyntaxError：无效语法”

任何帮助表示赞赏！

编辑：这是当我使用 print(label_item_contents) 时在第二个示例中返回的 HTML 的一部分：

<div class="label-item-description">
    <div>
        <a href="/label/example.com"><strong>Example</strong></a>
    </div>
    <small>
        <i class="fa fa-facebook-official"></i> 342.4K
        <i class="fa fa-soundcloud"></i> 233.4K
    </small>
    <br />
    <small class="text-muted">
        Stockholm, Sweden
    </small>
    <br />
    <small class="text-muted">
        <b>Techno, Tech House</b>
    </small>
</div>, <div class="label-item-description">

我只想到达<a href="/label/example.com">

@ayivima 有一个很好的答案，但我应该补充一点，该网站本身最终没有被 BeautifulSoup 正确抓取，因为它有大量的 Javascript。

所以我对使用Python完全陌生，我只是想打印网页的标题。我主要使用来自谷歌的代码：

from bs4 import BeautifulSoup, SoupStrainer
import requests

url = "https://www150.statcan.gc.ca/t1/tbl1/en/tv.action?pid=3210001601"
page = requests.get(url)
data = page.text
soup = BeautifulSoup
soup.find_all('h1')

print(text)

我不断收到错误：

AttributeError: 'str' object has no attribute 'descendants'

老实说，我真的不知道这意味着什么，我能找到的唯一其他答案来自：AttributeError: 'str' object has no attribute 'descendants'我认为这不适用于我？

我在代码中做错了什么吗？（可能很多，但我的意思主要是为了这个错误）

我正在尝试从ABBV 10-k sec 文件中的一个表格中提取列标题（第 25 页上的“发行人购买股权证券”表格-图表下方。）

<tr>
  <td>
    <div>string1</div>
    <div>string2</div>
    <div>string3</div>
  </td>
</tr>

url = 'https://www.sec.gov/Archives/edgar/data/1551152/000155115218000014/abbv-20171231x10k.htm'
htmlpage = requests.get(url)
soup = BeautifulSoup(htmlpage.text, "lxml")
table = soup.find_all('table')[76]
rows = table.find_all('tr')
table_data = []
for tr in rows[2:3]:
    row_data=[]
    cells = tr.find_all(['td', 'th'], recursive=False)
    for cell in cells[1:4]:
        row_data.append(cell.text.encode('utf-8'))
    table_data.append([x.decode('utf-8').strip() for x in row_data])

print(table_data)