小编And*_*ton的帖子

Python请求模块在获取请求期间不返回完整页面

当我向这个 url 发出 get 请求时:http : //www.waterwaysguide.org.au/waterwaysguide/access-point/4980/partial使用浏览器返回一个完整的 html 页面。但是,当我使用 python requests 模块发出 GET 请求时,只返回了 html 的一部分,并且缺少核心内容。

如何更改我的代码以便我可以获得丢失的数据?

这是我正在使用的代码;

import requests
def get_data(point_num):
    base_url = 'http://www.waterwaysguide.org.au/waterwaysguide/access-point/{}/partial'
    r = requests.get(base_url)
    html_content = r.text
    print(html_content)
get_data(4980)
Run Code Online (Sandbox Code Playgroud)

运行代码的结果如下所示。里面内容DIV CLASS =“查看浏览水路访问点页...缺失。

import requests
def get_data(point_num):
    base_url = 'http://www.waterwaysguide.org.au/waterwaysguide/access-point/{}/partial'
    r = requests.get(base_url)
    html_content = r.text
    print(html_content)
get_data(4980)
Run Code Online (Sandbox Code Playgroud)

python web-scraping python-requests

7
推荐指数
2
解决办法
2万
查看次数

标签 统计

python ×1

python-requests ×1

web-scraping ×1