小编Win*_*123的帖子

为什么抓取机器人要求我登录浏览器?请指导我

我正在尝试构建一个机器人来从 Twitter 上抓取一些帖子以用于学习目的。问题是浏览器打开并要求登录。但实际上我之前已经登录过。为什么要求重新登录?我的代码中是否缺少某些内容?如果我在这里出错,有人可以指导我吗?如果我不登录,它将给出空的数据框。请帮我。

 import pandas as pd
 import time
 from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support.ui import Select
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By


driver=webdriver.Chrome()
driver.get('https://twitter.com/search?q=python&src=typed_query')
driver.maximize_window()

time.sleep(5)
tweets=driver.find_elements(by='xpath',value='//article[@role="article"]')

user_data=[]
text_data=[]

for tweet in tweets:
    user=tweet.find_elements(by='xpath',value='//span[contains(text(),'@')]').text
    text=tweet.find_elements(by='xpath',value='//div[@lang]').text
    user.append(user_data)
    text.append(text_data)
driver.quit()

df_tweets=pd.DataFrame({'user':user_data,'text':text_data})
df_tweets.to_csv('tweets.csv',index=False)
print(df_tweets)
Run Code Online (Sandbox Code Playgroud)

python web-scraping selenium-chromedriver selenium-webdriver

-1
推荐指数
1
解决办法
71
查看次数