是否可以使用 cURL“镜像”网站?
所以基本上我有 www.mysite.com 和 www.stackoverflow.com 这是我想要镜像的站点。
当我加载时,www.mysite.com我希望它调用一个 cURL 函数来下载www.stackoverflow.com主页并将其显示给用户,但在此之前,我需要某种正则表达式来编辑所有链接(还有 css/js 链接)到类似的东西www.mysite.com/?page=/questions
我知道像搜索这样的东西,当然“提问”功能是行不通的,但是网站的一般浏览应该没问题,对吧?
你会怎么做这样的事情?
谢谢,
wget 非常适合这项任务。
只需从命令行运行:
wget -mkx -e robots=off http://the-site-you-want-to-mirror.com
Run Code Online (Sandbox Code Playgroud)
它会将所有页面、图像、样式表、js 文件等下载到本地目录并重写所有链接,以便它们在本地工作。
如果它不是您自己的服务器,请保持友好并-w 2在页面请求之间添加 2 秒延迟。