浏览器请求和curl请求有什么区别？

Question

https://psycnet.apa.org/record/2016-47119-002

当我通过 chrome（在私人窗口中）访问上述 URL 时，我可以看到与以下curl命令相对应的第一个请求。curl但是当我在命令行中调用这个命令时，它将被 distil network 显示检测到<div id="distilIdentificationBlock">&nbsp;</div> 。

这对我来说看起来很奇怪，因为这是第一个请求。除非 curl 和 chrome 发送的请求之间存在差异，否则 distil 网络无法判断哪些请求是由机器人发送的，还是由真实浏览器发送的。有谁知道curl请求和chrome请求有什么区别？

curl 'https://psycnet.apa.org/record/2016-47119-002' \
  -H 'Connection: keep-alive' \
  -H 'Pragma: no-cache' \
  -H 'Cache-Control: no-cache' \
  -H 'Upgrade-Insecure-Requests: 1' \
  -H 'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36' \
  -H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9' \
  -H 'Sec-Fetch-Site: none' \
  -H 'Sec-Fetch-Mode: navigate' \
  -H 'Sec-Fetch-User: ?1' \
  -H 'Sec-Fetch-Dest: document' \
  -H 'Accept-Language: en-US,en;q=0.9,zh-CN;q=0.8,zh;q=0.7' \
  --compressed

PS如果我使用firefox提取相应的curl命令，问题是一样的。所以firefox请求和curl请求之间的区别也是相关的。

Answer 1

没有区别。

要了解 Distill（他们的网页抓取保护系统）的工作原理，您需要查看初始响应 HTML：

当我在 Chrome 中发出请求并查看开发工具中的初始响应（确保选中“保留日志”）时，我看到响应实际上是一个简短的网页，其中包含一个嵌入的网页，该网页<script>执行一些简单的操作“是这样吗？”用户代理网络浏览器？” 检查，例如运行脚本来查找在 Web 浏览器之外不存在的 JavaScript DOM 对象（假设 HTTP 用户代理完全能够运行脚本 - 顺便说一句，事实cURL并非wget如此）。

如果脚本认为您的用户代理是网络浏览器，那么它会使用动态生成的密码执行另一个对真实内容的请求（我没有查看其工作原理的详细信息） - 这就是为什么您不能使用cURL或重新请求真实内容，wget因为每个请求的密码都是唯一的。

这是初始页面响应中元素的屏幕截图<script>，请注意页面的 HTML 中缺少真正的实际内容。

如果您在浏览器中禁用 JavaScript，您将根本无法访问该网页。

这种反抓取系统可以保护网页免受来自缺乏评估 JavaScript 方法的用户代理的请求 - 因此它将阻止curl、wget、HttpClient和浏览器内的fetch/ XMLHttpRequests（至少在没有进一步工作的情况下）。

您可能会认为该系统会使网站无法被搜索引擎蜘蛛索引 - 但这是一个古老的（且根深蒂固的）信念和实践：因为直到 2000 年代末，主要的搜索引擎蜘蛛（Google、Bing/Windows Live Search） 、雅虎等）只索引原始 HTML 并且不运行 JavaScript - 但从那时起，搜索引擎蜘蛛开始运行 JavaScript，甚至开始不使用定制的蜘蛛 HTML 解析器引擎而是使用实际的网络浏览器引擎来索引网站（ Google 真正开始了它，这样他们就可以索引大量脚本的网站，尤其是使用 Angular、Vue 等的单页应用程序。当我在 Microsoft 工作时，我开始使用 Bing 爬虫系统进行一些产品研究项目，并使用特殊版本的 Internet Explorer 来“运行”它访问的网页。