Kwi*_*wiZ 5 user-agent web-crawler npm
我一直在寻找 npm 包，但它们似乎都没有维护并且依赖于过时的用户代理数据库。是否有可靠且最新的软件包可以帮助我检测爬虫？（主要来自 Google、Facebook、... 用于 SEO）或者如果没有包，我可以自己编写吗？（可能基于最新的用户代理数据库）
更清楚地说，我正在尝试制作一个同构/通用的 React 网站，我希望它被搜索引擎索引，并且它的标题/元数据可以被 Facebook 获取，但我不想预渲染所有正常请求，以便服务器不会过载，所以我想到的解决方案只是对来自爬虫的请求进行预渲染
小智 1
对于您搜索 npm 软件包，我没有什么可补充的。但是您对最新的用户代理数据库来构建您自己的软件包的问题，我会推荐ua.theafh.net
目前，它拥有截至 2014 年 11 月的数据，据我所知，它拥有超过 540 万代理，也是最大的用户代理搜索引擎。
| 归档时间： |
|
| 查看次数： |
1865 次 |
| 最近记录： |