如何让谷歌机器人使用动态网址抓取我的反应网站并在谷歌中显示它们

viv*_* kn 5 sitemap express xml-sitemap reactjs

我有这个网站,我们可以提出新问题。每当创建新问题时,都会生成新的网址,我希望每次添加新问题时谷歌都会抓取我的网站并将其显示在谷歌中。

我的前端在react js,后端在express js

我的前端托管在firebase,后端托管在heroku

由于我使用的是 javascript 并且我的网址都是动态生成的,因此谷歌不会抓取或索引它们。

目前,我正在将所有动态创建的网址写入后端根文件夹中名为sitemap.txt.

我应该怎么做才能实现这个目标?

我的站点地图链接 https://ask-over.herokuapp.com/sitemap.txt

我的反应应用程序链接 https://wixten.com

我的express.js 链接 https://ask-over.herokuapp.com

我想将 https://ask-over.herokuapp.com/sitemap.txt添加到 google 搜索控制台

小智 0

Google 或任何其他网络爬虫不可能抓取您的 SPA 网站。解决此问题的最佳方法是使用 Next.js 等服务器端框架,或者使用预渲染并将爬虫重定向到预渲染服务器而不是主网站。

您可以查看 prerender.io,它也有开源版本,您可以在单独的服务器上运行它,并使用您的 Web 服务器(apache/nginx/其他)的片段/插件之一将请求重定向到不同的上游服务器。

我一直在我的一个基于 VueJs 的项目(电子商务商店)中使用它,它就像一个魅力。

要了解基础知识,它的作用是在浏览器中加载您的网站,并将渲染的代码缓存在数据库/缓存中,当任何爬虫访问您的网站时,它们将被重定向到缓存,即生成的 html 页面您网站的内容,爬虫将能够顺利读取所有内容。