小编use*_*567的帖子

我正在使用 selenium 和 scrapy 实现 TikTok 爬虫

start_urls = ['https://www.tiktok.com/trending']
....
def parse(self, response):
    options = webdriver.ChromeOptions()
    from fake_useragent import UserAgent
    ua = UserAgent()
    user_agent = ua.random
    options.add_argument(f'user-agent={user_agent}')
    options.add_argument('window-size=800x841')
    driver = webdriver.Chrome(chrome_options=options)
    driver.get(response.url)

爬虫打开 Chrome，但不加载视频。 图片加载

同样的问题也发生在使用 Firefox 没有加载页面使用 Firefox

使用 Selenium 的简单脚本也有同样的问题

from selenium import webdriver
import time


driver = webdriver.Firefox()
driver.get("https://www.tiktok.com/trending")
time.sleep(10)
driver.close()

driver = webdriver.Chrome()
driver.get("https://www.tiktok.com/trending")
time.sleep(10)
driver.close()