Google: URLs com Disallow no Robots não afetam Crawl Budget
Através de uma atualização de Gary Illyes em sua documentação, o Google afirmou que urls com Disallow no Robots não afetam Crawl Budget, informação importante principalmente para sites grandes.