小编may*_*oni的帖子

我正在构建一个网络抓取器作为一个小项目（使用CodeIgniter）。由于 CORS 政策，我无法从某些网站获取数据。

为了绕过这个问题，我使用 Rob Wu 的CORS Anywhere。我将cors_url添加到要从中抓取数据的 URL 前面。

一切正常，直到达到每小时 200 个请求的最大允许限制。点击 200 次后，我收到HTTP 状态代码：429（请求过多）。

显示网络日志的屏幕截图。

根据文档，我们可以在Heroku上创建我们自己的 server.js 实例。但是，我想做的是，在本地 Apache 服务器 ( localhost ) 上进行本地设置，只是为了首先测试一下。

一些示例代码：

var url = "http://example.com/";
var cors_url = "https://cors-anywhere.herokuapp.com/";

$.ajax({
    method:'GET',
    url : cors_url + url,
    success : function(response){
            //data_scraping_logic...
    }
}