Selenium 未加载 TikTok 页面

Question

我正在使用 selenium 和 scrapy 实现 TikTok 爬虫

start_urls = ['https://www.tiktok.com/trending']
....
def parse(self, response):
    options = webdriver.ChromeOptions()
    from fake_useragent import UserAgent
    ua = UserAgent()
    user_agent = ua.random
    options.add_argument(f'user-agent={user_agent}')
    options.add_argument('window-size=800x841')
    driver = webdriver.Chrome(chrome_options=options)
    driver.get(response.url)

爬虫打开 Chrome，但不加载视频。 图片加载

同样的问题也发生在使用 Firefox 没有加载页面使用 Firefox

使用 Selenium 的简单脚本也有同样的问题

from selenium import webdriver
import time


driver = webdriver.Firefox()
driver.get("https://www.tiktok.com/trending")
time.sleep(10)
driver.close()

driver = webdriver.Chrome()
driver.get("https://www.tiktok.com/trending")
time.sleep(10)
driver.close()

Answer 1

您可以使用Windows IE。代替 Chrome 或 Firefox

视频将在 IE 中加载，但 IE 显示提要的布局与 Chrome 和 Firefox 有所不同。

您的页面未加载的原因。

很少有高级网络应用程序会检查您的浏览器历史记录、配置文件数据并缓存以检查用户的身份验证。您可以做的另一件事是在您的 selenium 中运行您的默认配置文件，这会很有帮助。