如何在phpcrawl中避免循环僵尸陷阱？

Question

在使用PHP爬行时,如何避免陷入循环链接陷阱？

Answer 1

如果您将访问过的 url 存储在某种数组中，您可以检查该 url 是否已被访问过，如果是，则不要再次访问它。