如何使用用户代理检测开放式图形的机器人？

Question

因此，我正在为我的单页应用程序执行一些服务器端逻辑，并且需要检测各种打开的图形爬网程序，以便可以提供打开的图形数据而不是标准索引页。

至于我可以告诉使用字符串，用户代理facebot twitterbot和facebookexternalhit应包括在内。但是有人为此创建了一个正则表达式（或npm包）吗？

我认为网络上还有其他地方可能要使用开放式图形数据，我希望能够向他们提供开放式图形数据（我不喜欢pinterest之类的东西）。

Answer 1

我不明白为什么您的答案被否决了。而且我还认为，如果开放图爬网程序的用户代理中具有通用字符串以使检测更加容易，它将更加简单。我有同样的问题，我正在做的是使用此文件https://github.com/monperrus/crawler-user-agents/blob/master/crawler-user-agents.json，然后选择我只想使用的文件在检查文档后，使用Open Graph标记。我没有使用nodejs，但是一个好主意是将其派生并为开放式图形爬虫创建一个npm包。