BeautifulSoup找不到任何<a>标签

Question

我想在这里搜索网站:ftp://ftp.sec.gov/edgar/daily-index/.使用如下所示的代码:

from bs4 import BeautifulSoup  
import urllib.request
html = urllib.request.urlopen("ftp://ftp.sec.gov/edgar/daily-index/")
soup = BeautifulSoup(line, "lxml")
soup.a # or soup.find_all('a') neither of them works
#return None.

请帮助,我真的很沮丧.我怀疑标签是导致问题的原因.该网站的Html看起来很好(匹配的标签),所以我迷失了为什么BeautifulSoup没有找到任何东西.谢谢

Answer 1

该ftp://ftp.sec.gov/edgar/daily-index/网址指向FTP目录,而不是一个HTML页面.

您的浏览器可以根据FTP目录内容生成HTML,但是当您加载该资源时,服务器不会向您发送HTML urllib.request.

您可能希望直接使用该ftplib模块来读取目录列表,或者先检查返回值urlopen(...).read().