网络爬虫是否识别cookie?

0 cookies seo web-crawler

网络抓取工具是使用Cookie还是丢弃它们?

Dan*_*man 5

爬虫只是一个通过http下载文件的软件,并试图找到更多的URL来下载更多文件.

由爬虫的创建者决定他们是否希望使用或忽略javascript和cookie.

我相信大多数抓取工具目前都会忽略javascript和cookie,但没有理由说明为什么会这样(你肯定不应该依赖它,出于安全原因)