AI crawl control