如何避免 phpcrawl 中的循环机器人陷阱？

Question

如何在使用 PHP-crawl 时避免陷入循环 link 陷阱？

Answer 1

如果您将访问过的 url 存储在某种数组中，您可以检查 url 是否已被访问过，如果是，则不要再次访问它。