在nginx中使用prerender和proxy

Question

我正在尝试使用prerender.io来获取angularjs页面的快照.目前我有一个用于Web应用程序的NodeJS实例,nginx反向代理将请求从端口重定向80到4000.

根据prerender nginx手册(https://gist.github.com/thoop/8165802),我可以将搜索引擎机器人请求转发给prerender url,但因为我已经有了NodeJS应用程序的代理,我不知道怎么能我是prerender try_files指令.

我的问题是,我如何使用NodeJS应用程序代理和prerender指令？

Answer 1

我相信预渲染示例有答案。如果 prerender 设置为 1，它使用 rewrite，然后使用 proxy_pass。

所以你会改变这个：

if ($prerender = 0) {
            rewrite .* /index.html break;
        }

对此：

if ($prerender = 0) {
        rewrite .* /index.html break;
        proxy_pass http://[INTERNAL IP]:[PORT];
    }

由于您使用的是 Node 并且不需要为静态文件设置一些内容，因此我会进行进一步的修改。

这是我的最终答案：

server {
   listen 80;
   server_name example.com;

   location / {
       try_files $uri @prerender;
   }

location @prerender {
    #proxy_set_header X-Prerender-Token YOUR_TOKEN;

    set $prerender 0;
    if ($http_user_agent ~* "baiduspider|twitterbot|facebookexternalhit|rogerbot|linkedinbot|embedly|quora link preview|showyoubot|outbrain|pinterest|slackbot|vkShare|W3C_Validator") {
        set $prerender 1;
    }
    if ($args ~ "_escaped_fragment_") {
        set $prerender 1;
    }
    if ($http_user_agent ~ "Prerender") {
        set $prerender 0;
    }
    if ($uri ~ "\.(js|css|xml|less|png|jpg|jpeg|gif|pdf|doc|txt|ico|rss|zip|mp3|rar|exe|wmv|doc|avi|ppt|mpg|mpeg|tif|wav|mov|psd|ai|xls|mp4|m4a|swf|dat|dmg|iso|flv|m4v|torrent|ttf|woff)") {
        set $prerender 0;
    }

    #resolve using Google's DNS server to force DNS resolution and prevent caching of IPs
    resolver 8.8.8.8;

    if ($prerender = 1) {

        #setting prerender as a variable forces DNS resolution since nginx caches IPs and doesnt play well with load balancing
        set $prerender "service.prerender.io";
        rewrite .* /$scheme://$host$request_uri? break;
        proxy_pass http://$prerender;
    }
    if ($prerender = 0) {
        proxy_pass http://[INTERNAL IP]:[PORT];
    }
}
} 

我希望这有帮助。我要补充的一件事是我不会使用预渲染引擎。蜘蛛甚至可以索引链接和使用 javascript 和 PDF 的页面。

只有我的两分钱。