我正在尝试构建一个机器人来从 Twitter 上抓取一些帖子以用于学习目的。问题是浏览器打开并要求登录。但实际上我之前已经登录过。为什么要求重新登录?我的代码中是否缺少某些内容?如果我在这里出错,有人可以指导我吗?如果我不登录,它将给出空的数据框。请帮我。
import pandas as pd
import time
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support.ui import Select
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
driver=webdriver.Chrome()
driver.get('https://twitter.com/search?q=python&src=typed_query')
driver.maximize_window()
time.sleep(5)
tweets=driver.find_elements(by='xpath',value='//article[@role="article"]')
user_data=[]
text_data=[]
for tweet in tweets:
user=tweet.find_elements(by='xpath',value='//span[contains(text(),'@')]').text
text=tweet.find_elements(by='xpath',value='//div[@lang]').text
user.append(user_data)
text.append(text_data)
driver.quit()
df_tweets=pd.DataFrame({'user':user_data,'text':text_data})
df_tweets.to_csv('tweets.csv',index=False)
print(df_tweets)
Run Code Online (Sandbox Code Playgroud) python web-scraping selenium-chromedriver selenium-webdriver