使用 Python 将维基百科数据提取到 txt 文件

Question

我已经实现了以下代码来从维基百科页面提取数据

import bs4
import sys
import requests

res = requests.get('https://en.wikipedia.org/wiki/Agriculture' )
res.raise_for_status()
wiki = bs4.BeautifulSoup(res.text,"html.parser")
for i in wiki.select('p'):
    print(i.getText())

该代码根据我的需要从页面中提取所有数据。但是我想使用 Python 将其存储在文本文件中，但我无法做到。该文本文件的名称应为“Agriculture”（如果从 URL 本身中提取该名称则更好，以便可以在多个 wiki 页面上使用）。

Answer 1

尝试这个：

wiki_page = 'Agriculture'
res = requests.get(f'https://en.wikipedia.org/wiki/{wiki_page}' )
res.raise_for_status()
wiki = bs4.BeautifulSoup(res.text,"html.parser")

# open a file named as your wiki page in write mode
with open(wiki_page+".txt", "w", encoding="utf-8") as f:
    for i in wiki.select('p'):
        # write each paragraph to the file
        f.write(i.getText())