小编Jav*_*ift的帖子

使用 puppeteer.js 抓取 Twitter 帖子

我正在尝试制作我的个人推特帖子抓取工具,但这似乎比我想象的要难。

这个想法是首先获取 div 帖子,然后浏览它们并最终获得帖子文本。

这并不像我想象的那样,目前我只得到一个空数组。

我究竟做错了什么?

const puppeteer = require('puppeteer');
var fs = require('fs');

async function getQuotes(){

    const browser = await puppeteer.launch({headless:true});
    const page = await browser.newPage();

    await page.goto('https://twitter.com/Twitter', {waitUntil: 'networkidle2'}); // page url
   
    const result = await page.$$eval('div.css-901oao.r-jwli3a.r-1qd0xha.r-a023e6.r-16dba41.r-ad9z0x.r-bcqeeo.r-bnwqim.r-qvutc0', rows => {
        return rows.map(row =>{
            const properties = {};
            const post = row.querySelector('span.css-901oao.css-16my406.r-1qd0xha.r-ad9z0x.r-bcqeeo.r-qvutc0');
            properties.text = post.innerText;
            return properties;
        });
    });
    console.log(result);
    browser.close();
}
getQuotes();
Run Code Online (Sandbox Code Playgroud)

twitter node.js web-scraping puppeteer

1
推荐指数
1
解决办法
5381
查看次数

标签 统计

node.js ×1

puppeteer ×1

twitter ×1

web-scraping ×1