用 python 刮链接人搜索

Question

我想使用linkedin抓取人员搜索的结果。

url='https://www.linkedin.com/search/results/people/?facetCurrentCompany=%5B%222525300%22%5D&facetGeoRegion=%5B%22fi%3A0%22%5D&keywords=python&origin=FACETED_SEARCH'
import bs4
import requests
res=requests.get(url)
soup=bs4.BeautifulSoup(res.text, 'lxml')

没有错误，但问题是当我点击链接时，结果显示有一个人符合我的搜索条件。我在 Python 代码生成的汤结果中找不到那个人。

有谁知道如何解决这一问题？

Answer 1

您正在尝试抓取仅对登录用户可用的数据。

您应该使用官方的 LinkedIn REST API 并通过 OAuth2 进行身份验证。试一试：https : //developer.linkedin.com/docs/rest-api

Answer 2

我会使用已经完成艰苦工作的开源软件，并尝试根据我的需要对其进行修改。例如：

https://github.com/ericfourrier/scrape-linkedin

注意：这仅适用于公共数据