我正在尝试制作我的个人推特帖子抓取工具,但这似乎比我想象的要难。
这个想法是首先获取 div 帖子,然后浏览它们并最终获得帖子文本。
这并不像我想象的那样,目前我只得到一个空数组。
我究竟做错了什么?
const puppeteer = require('puppeteer');
var fs = require('fs');
async function getQuotes(){
const browser = await puppeteer.launch({headless:true});
const page = await browser.newPage();
await page.goto('https://twitter.com/Twitter', {waitUntil: 'networkidle2'}); // page url
const result = await page.$$eval('div.css-901oao.r-jwli3a.r-1qd0xha.r-a023e6.r-16dba41.r-ad9z0x.r-bcqeeo.r-bnwqim.r-qvutc0', rows => {
return rows.map(row =>{
const properties = {};
const post = row.querySelector('span.css-901oao.css-16my406.r-1qd0xha.r-ad9z0x.r-bcqeeo.r-qvutc0');
properties.text = post.innerText;
return properties;
});
});
console.log(result);
browser.close();
}
getQuotes();
Run Code Online (Sandbox Code Playgroud)